簡短回答。 模型僅在真正學習過的語言中表現可靠,而以英語為主進行訓練會在其他語言中產生四個可測量的負面影響:準確性降低、因令牌膨脹導致運行成本上升、安全防護減弱,以及文化錯誤,這些錯誤無法被任何基準檢測到。安全方面的發現改變了團隊對這一問題的認知——將不安全的提示翻譯成資源匱乏的語言(如祖魯語)後,GPT-4在布朗大學的研究中大約80%會產生有害回應。任何語言中失敗的安全防護,都可能被任何人通過免費翻譯工具繞過。
以前多語言數據被視為本地化任務,在發佈後處理。如今它已成為核心訓練決策,其原因更多與公平性無關,而與成本、安全性和英語文本資源的枯竭有關。
本文闡述了多語言數據在模型內部實際產生的變化,解釋了在另一種語言中運行產品為何成本更高,為什麼對齊不會傳遞,以及證據表明多語言訓練是否有助於提升英語表現。
為什麼一個在英語中表現優異的模型在海外仍會失敗?
因為基準測試衡量的是模型訓練的語言,而不是客戶實際使用的語言。能力不會自動跨越語言邊界。
考慮一個在測試中完美處理退款爭議的支持助手,然後面向使用印尼語的客戶推出。它在回答關於分期計劃的問題時,卻像在處理貸款違約一樣。它對禮貌正式的表達方式回應時,表現出一種生硬的粗魯感。偶爾它無理由地回覆英文。這一切在發佈清單中都沒有預測到,因為清單是用英語撰寫的,並以英語通過審查。
關於多語言推理的研究反覆發現相同模式:當任務以英語提出時,模型表現良好;而當同一任務以資源匱乏語言表達時,模型性能則顯著下降。知識往往存在,但缺失的是通過不同語言可靠地抵達該知識的能力,因為概念與詞彙之間的路徑幾乎完全基於英語示例構建。
多語言數據實際上在模型內部發生了什麼變化?
三件事,分別在三個不同的深度上。
分詞器效率。 文本由分詞器分解為標記,分詞器在訓練過程中學習如何壓縮它所看到的最常見內容。如果只餵給模型英語,它就會學習英語的緊湊表示,並將其他內容視為不熟悉的碎片。多語言數據改變了分詞器認為‘普通’的內容——而這一決定一旦做出就終身不變。
轉換層。 關於模型如何處理跨語言事實的研究表明,知識存儲在一種很大程度上與語言無關的內部空間中,而錯誤往往出現在最後一步,即當這種內部表示被轉換回特定語言時。多語言訓練數據正是強化了這一轉換過程。它區別於一個模型‘知道’某事,和一個模型‘能正確用越南語說出’某事。
超越訓練列表的泛化能力。 由於相關語言具有相似結構,對多種語言的暴露有助於模型在僅短暫接觸過的語言上做出更好的猜測。即使某些語言從未出現在訓練計劃中,廣度依然重要。
為什麼在另一種語言中運行AI產品更昂貴?
因為模型以標記為單位進行計費和思考,而同樣的句子在分詞器未設計支持的語言中會變成遠多的標記。從業者稱之為標記稅,而這與質量無關。
一項比較多個商業及開放分詞器的分析發現,同一段阿拉伯語文本在某個模型中需要多約68%的詞元,在另一個模型中則需要多出340%以上。表達的意思並沒有增加,增加的只是計量與成本。
| 後果 | 為什麼會發生 |
|---|---|
| 成本上升 | API 按每個方向的令牌計費 |
| 上下文縮小 | 一份適合英文的文檔,在泰盧固語或日語中可能超出相同的上下文窗口 |
| 延遲增加 | 需要處理的內容實際上更多 |
最不舒服的部分是費用由誰來承擔。對多種語言的分詞研究發現,這種成本往往落在低收入地區語言使用者身上,這意味著最無力承擔成本的市場,卻要為相同的智能服務支付最高費用。更高質量的多語言訓練數據是少數結構性解決方案之一,因為一個在真正多樣化文本上訓練過的分詞器,從一開始就更高效地編碼這些文本。
為什麼安全護欄在其他語言中會變弱?
因為安全對齊是訓練出來的,而不是繼承的。一個護欄只存在於它被教授過的語言中,因此一個模型可以在英語中嚴格,在祖魯語中寬鬆。
布朗大學的研究人員發現,將不安全的英文提示通過免費翻譯工具翻譯成資源匱乏語言(如祖魯語),然後發送給GPT-4,大約有80%的情況下會產生有害回應——而當同樣的請求以英文提出時,模型會拒絕。整個過程不需要任何技術技能。
後續研究追蹤了這一情況的演變。2026年的一項研究測試了包括基爾瓦希利語、塞索霍薩語和塞索祖魯語在內的非洲語言,發現簡單的翻譯攻擊不再像過去那樣容易奏效,這是真正的進步,但多輪對話仍然以高頻率成功繞過。對79種語言的獨立評估發現,當提示從英語轉向資源匱乏語言時,不安全回應率最高可上升25個百分點。
關鍵的戰略點常常被忽視。這不僅是一個低資源語言使用者的問題。任何一個語言中的安全護欄失效,任何人都可以通過翻譯工具和三十秒的時間繞開它。多語言安全數據是一種安全控制,而不是一種多樣性姿態。
翻譯是否能直接解決問題?
翻譯只是移動詞語,它並不會移動意義、語境、文體或意圖,而且它會繼承原始英文中的所有假設。翻譯確實能作為橋梁發揮作用,錯誤在於將其視為替代方案。
有三件事會出錯。 註冊和禮貌變得扁平 —— 許多語言通過語法來編碼正式程度、地位差異和社會距離,因此翻譯後的回覆可能在技術上正確,但在社會層面卻是錯誤的,這在面向客戶的產品中會顯得粗魯。 本地參考點消失 —— 價格、法律條款、文件名稱、支付方式、節日和單位都承載著本地意義,而翻譯後的英文回答卻悄然忽略了這些內容。而且 原始框架依然存在,因此一個基於英語對銀行、醫療或家庭結構假設構建的模型,會保留這些假設,並只是用另一種語言表達出來。
此外,還存在疊加效應。當翻譯文本被用於訓練或評估時,翻譯錯誤會成為訓練信號,模型就會學習到一種略微扭曲的語言版本,而這種版本在使用相同翻譯工具檢查時看起來是正確的。只有母語使用者能打破這個循環。其他任何情況都無法做到。
多語言數據是否能讓模型在英語方面表現更好?
越來越多地是的,有兩個獨立的原因。
跨語言泛化能力。 在2025年的一項研究中,一個在中文推理數據上通過強化學習訓練的模型,不僅在中文上表現更好,還在德國、西班牙和孟加拉語的評估中顯著提升——遠超在相同數據上進行監督微調的效果。其他研究發現,推理能力(區別於事實記憶)在不同語言之間具有顯著的可轉移性。在多種語言上進行訓練似乎會推動模型朝向通用策略,而非僅適用於訓練語言的技巧。
數據供給。 Epoch AI 估計高質量、人工撰寫的公開文本的有效存量約為 300 萬億個標記,並預測前沿訓練運行將在 2026 至 2032 年之間完全耗盡這一資源。英語是耗盡最快的領域,因為它被最先挖掘。與此同時,世界上大部分語言內容從未被數字化——它們存在於口語、本地平臺、消息交流和未記錄的方言中。
將這些因素結合起來,多語言數據不再看起來像一個成本中心。它既是目前最大未被開發的人類生成訓練數據儲備,也是提升模型通用能力的路徑。
一個真正構建AI的團隊應該做什麼?
- 有意識地、儘早地選擇你的語言。 語言覆蓋範圍會影響分詞器設計和數據混合,而這些在後期修改都會非常痛苦。產品發佈後才添加語言,其成本遠高於在規劃階段就包含該語言。
- 按語言單獨評估,而不是彙總評估。 單一的平均分數恰恰掩蓋了真正需要關注的失敗情況。準確率、拒絕行為、語氣和安全性都應逐語言測量,並以母語使用者撰寫的基準進行評估,而非翻譯成該語言後評估。
- 在每個你發佈的語言中都進行紅隊測試。 由於護欄機制會退化,僅在英語中進行的安全評估幾乎無法反映你實際面臨的風險。
- 將翻譯作為橋梁,而非基礎。 翻譯是一種合理的方式用於初步擴展語言覆蓋,但當涉及準確性、安全性和品牌語氣時,它絕不能替代本地語言數據。
- 保持該語言的母語使用者參與其中。 自動化檢查可以確保格式和完整性,但無法判斷模型是否微妙地表現出不尊重、對年長者使用了錯誤的語體,或虛構了一個在該國不存在的法律術語。
Lifewood的應對方式
Lifewood 的多語言工作處於作者無法被替代的階段:在數據收集、標註、評估和紅隊測試環節均由母語者完成,而非通過翻譯實現。其實際後果是,模型在孟加拉語中的表現由會說孟加拉語的人來判斷,而不是通過數十種語言的平均分數來判斷。
這是一個交付網絡問題,而非工具問題。 50多種語言 包括少數語言方言, 覆蓋30多個國家的40多個交付中心,以及 56,788 名註冊貢獻者,正是這些因素使得在項目關鍵階段——發佈前——實現每種語言的紅隊測試和每種語言的評估成為可能,而不是在安全事件發生後才進行。
質量採用人工參與閉環模式,依據客戶批准的黃金標準集進行核驗,遵循95%以上準確率的服務等級協議,並按語言分別報告,而非只提供彙總數字。請參閱AI數據服務、多語言數據採集和高資源語言與低資源語言對比。
資料與進一步閱讀
- Yong 等人,低資源語言對 GPT-4 的劫持,布朗大學。
- 使用低資源語言對大語言模型進行多語言劫持 (2026),arXiv。
- Welo Data,全球安全盲點:低資源語言中大語言模型安全失敗 (2026)。
- Predli,令牌稅與定製分詞器的必要性。
- Petrov 等人和 Ahia 等人關於分詞不平等的研究,總結於 衡量分詞溢價,arXiv。
- 超越以英語為中心的訓練:強化學習如何提升大語言模型的跨語言推理能力 (2025),arXiv。
- Epoch AI,我們是否會耗盡數據?基於人工生成數據的大語言模型擴展的侷限性。