簡短回答。 多語言文本數據進入大語言模型的訓練過程分為四個不同階段，每個階段都需要不同類型的訓練數據：預訓練需要每種語言的token數量超過一個下限閾值，分詞器需要腳本多樣性，指令微調需要由母語者撰寫的提示和回答，評估階段則需要構建語言本地化的測試集。近期研究也推翻了傳統觀點——即增加語言數量必然導致性能下降。性能損失源於token數量稀少和低質量語料，而非語言數量本身——這將一個模型設計上的權衡問題轉化為一個數據操作問題。
將‘多語言數據’視為一個採購項目是本研究中最常見的規劃錯誤。這種做法會導致團隊過度投資於最便宜的階段，而忽視了決定模型在特定語言中是否真正可用的兩個關鍵階段。
本文將四個階段分開闡述，然後梳理2025年和2026年的研究對token下限、質量篩選以及為何指令數據仍需人工撰寫的見解。
多語言文本數據實際上在大語言模型訓練中是如何進入的？
| 階段 | 它是什麼 | 數據的‘貨幣’是什麼？ | 是否可以批量獲取？ |
|---|---|---|---|
| 預訓練語料庫 | 海量的原始、大多未標註的文本數據，模型在此過程中學習語言的結構形態 | 每種語言的令牌數 | 是 |
| 分詞器訓練 | 通常是從預訓練語料庫中抽取的一個樣本 | 樣本中的腳本與語言多樣性 | 是的，但構成比例起著不成比例的重要作用 |
| 指令與偏好數據 | 用於教導模型具備實用性、遵循指令並採用適當語體的提示與響應 | 作者質量 | 否 |
| 評估集 | 測試數據揭示了前三個階段是否有效 | 與訓練集的獨立性 | 否 |
需求方向各不相同。預訓練階段獎勵的是文本量的增加，指令微調階段獎勵的是作者身份，評估階段則獎勵獨立性。一個將所有階段都視為‘在這些語言中獲取更多文本’的項目，會將大部分預算投入最便宜的階段。
分詞器的決策值得單獨關注，因為它規模小、成本低且持久。基於以英語為主樣本構建的分詞器，會在模型生命週期內對所有其他語言的表示效率低下，這在所有你發佈的語言中都會表現為成本增加、延遲上升和有效上下文減少。
多語言的詛咒是真實的嗎？
它是可測量的，但近期研究指出它曾被廣泛誤診斷。
多語言的詛咒在2020年被描述：在固定模型容量下，先添加語言確實有助於提升表現——尤其是低資源語言——但之後開始損害單語和跨語言性能。多年來，它一直被解讀為一種硬性權衡：覆蓋範圍或質量，二者只能選其一。
一項2025年的研究以適當規模重新審視了這一問題，訓練了包含從25到400種語言語料庫的11億和30億參數模型。其發現極大地顛覆了舊有觀點：
- 將英語與多語言數據相結合並不會必然導致任一語言組性能下降，前提是每種語言在語料庫中都有足夠的詞元數量。
- 採用英語作為樞紐語言在不同語系中均產生了積極效果——與預期相反，選擇一種語言自身語系內的語言作為樞紐語言，並不一定更優。
- 作者將這種現象歸因於模型容量的有限性，以及數據分佈放大了低質量數據所代表語言的影響，而非單純增加語言種類。
這是一個截然不同的問題。'語言之間爭奪容量'意味著你應該削減語言。'薄且低質量的語料庫拖累一切'意味著你應該修復語料庫——這是一個數據操作問題，是可解決的。
一種語言需要多少文本？
足夠覆蓋一個基礎層面，而這個基礎層面比份額更重要。低於這個基礎層面，語言會引入噪聲；高於這個基礎層面，語言則會貢獻能力。
實際意義在於，每種語言的詞元數量是需要關注的變量，而非語言列表的數量。一個在400種語言上訓練的模型，如果大多數語言的詞元數量可忽略，實際上並非一個400種語言的模型，而只是一個帶有400個標籤、僅有少數真正起作用的語言的模型。
這也是為什麼從自然網絡分佈中進行比例採樣效果如此糟糕。按照在線文本數量的比例來採樣語言，英語約佔一半，而尾部語言幾乎得不到任何數據——完全重現了你試圖糾正的不平衡。標準的應對措施是溫度採樣，它通過提升小語言的數據權重來平滑分佈，但過度使用會導致低資源語言的數據被重複，直至模型過擬合於這些數據。
多語言擴展規律的研究使這一問題變得更具可操作性，通過推導出最小化各語言總損失的最優採樣比例。對預算有限的人來說，這是一個鼓舞人心的結果：基於約8500萬參數的小模型推導出的比例，能夠推廣到數量級相差數倍的大型模型——因此團隊可以低成本地搜索合適的混合比例，並將其應用於大規模訓練。
對於資源匱乏的語言來說，一個令人不安的結論是：要填補空白，往往需要尚未在線存在的文本。到了這一點，混合比例的問題就變成了數據集合的問題。
數據質量是否優於數據數量？
在多語言場景下，答案是明確的。這是近年來多語言預訓練研究中最鼓舞人心的結果之一。
基於模型的數據選擇研究在不同語言家族和文字系統中應用了質量篩選，然後訓練了10億參數的模型進行對比。經過篩選的數據僅使用了訓練token的15%，就達到了基線MMLU分數。
第二個發現更為顯著。當一個多語言模型與在目標語言中訓練相同數量token的單語模型進行對比時，多語言模型在篩選後的數據上表現優於其單語對應模型。在未篩選的數據上，它遭受了預期的性能損失。模型架構相同，token預算相同，結果卻截然相反——這一差異完全由語料質量決定。
對於計劃開展多語言項目的人來說，這重新定義了預算問題。通常的直覺是：可以獲取多少更多文本。更關鍵的問題是：現有文本中哪些部分值得用於訓練，以及哪些經過驗證的、語言內部的材料可以替代其餘部分。篩選和整理並非在數據收集之上的額外開銷；在多語言訓練中，它們恰恰是性能提升的主要來源。
為什麼指令數據必須由人工編寫？
因為它教導的是行為而非語言，而行為具有文化特異性。
最清晰的證據來自Aya項目，至今仍是多語言指令微調的參考基準。它產生了兩種性質截然不同的成果：
| Aya數據集 | Aya集合 | |
|---|---|---|
| 規模 | 約204,000個提示和完成對 | ~5.13億個實例 |
| 語言 | 65 | 114 |
| 它是如何構建的 | 由母語者撰寫並審核；來自119個國家的約3000名協作者 | 主要通過模板化和機器翻譯現有英文數據集 |
| 它交付的內容 | 行為：註冊、得體性、參與度 | 廣度 |
兩者都是必要的。翻譯和模板化能夠以當時成本實現人類努力無法匹敵的廣度。但研究人員明確指出，較小數據集的重要性在於：來自人工標註員的開放式指令數據獲取困難且成本高昂，而這正是使模型在對話中表現出得體和恰當而非僅僅正確的原因。
背後有一個結構性要點。預訓練教會模型語言，而指令微調則教會它如何在該語言中行為，而每種文化對此都有不同的理解——什麼算作禮貌的拒絕、適當的直接程度、文化上合理的示例。你無法通過翻譯來實現這一點。
你是如何知道多語言數據有效工作的？
只有通過按語言進行評估，在由該語言母語者構建的測試集上進行評估。有三種失敗模式反覆出現。
- 跨語言平均。 一個單一的多語言評分結果被高資源語言的分數所主導。模型在整體上看起來穩健，但在其支持的三分之一語言中可能完全無法使用。
- 使用翻譯過的基準測試。 將英文測試集翻譯成英文，實際上測試的是翻譯後的英文，而不是目標語言本身。它獎勵那些用英文思考並用翻譯方式作答的模型——而這正是你試圖消除的行為。
- 只測試容易衡量的內容。 準確率是直接可衡量的。註冊、語氣、文化適宜性以及拒絕行為則難以衡量，而這些正是用戶實際會注意到的內容。
Aya 的工作在這裡也具有啟發性：除了模型之外，團隊還構建了覆蓋近一百種語言的評估體系，包括人工評估，而非僅依賴自動化評分。
Lifewood的應對方式
Lifewood 的工作處於兩個無法批量採購的階段：語言層面的指令、偏好和評估數據，均由經過培訓的母語者提供，而非通過翻譯獲得。提示、響應、偏好排序和評估集均以原語言編寫，這是行為層獲取語言風格和文化語境的唯一方式，正如研究指出，翻譯無法傳遞這些內容。
質量通過人工參與閉環模型，在客戶批准的黃金標準集上進行驗證，達到 95%以上的準確率SLA，並且按 每種語言 報告，而非作為整體平均值，因為平均值被集合中最大的語言所主導，掩蓋了需要重點關注的語言。
對於那些清除令牌門檻意味著收集在線不存在的文本的語言而言，制約因素是人們身處正確的位置，而非工具。包含少數語言的50多種語言，覆蓋30多個國家的40多個交付中心，以及56,788名註冊貢獻者，正是使這一計劃成為現實而非空想的關鍵。參見橫向與縱向LLM訓練數據對比和多語言LLM訓練數據質量。
資料與進一步閱讀
- 重新審視多語言數據混合在語言模型預訓練中的應用（2025），arXiv — 關於25到400種語言研究以及多語言詛咒的重新解讀。
- Conneau等人關於多語言詛咒的論述，見上文。
- 通過基於模型的數據選擇增強多語言LLM預訓練，arXiv — 關於15%令牌質量篩選的結果。
- 多語言語言模型的擴展規律, arXiv — 最優採樣比例和85M參數遷移發現。
- Singh等人，Aya數據集：一個用於多語言指令微調的開放訪問集合，arXiv。
- Üstün等人，Aya模型：一個經過指令微調的開放訪問多語言語言模型，Cohere。