簡短回答。 高資源語言是指擁有大量數字化、標註和未標註數據用於AI訓練的語言。低資源語言則缺乏這些數據無論其母語使用者數量多少。這一區別在於可用數據的供應，而非母語使用者的數量，因此擁有數千萬母語使用者的語言位於等級表的底部，而較小的語言則位於頂部。標準參考是Joshi及其同事（ACL 2020）提出的六類框架，該框架將七種語言置於頂級，約2,191種語言置於底部——兩者之間的差距會自行擴大，因為系統中的幾乎所有機制都傾向於獎勵那些已有數據的語言。
微軟印度研究院的研究人員在2020年的論文開篇提出了一道謎題。兩種語言，分別是兩個國家的官方語言，擁有相當數量的母語使用者——約2900萬和約1800萬。其中一種語言大約有200萬篇維基百科文章；另一種則僅有約5500篇。一種語言在兩個主要語言數據目錄中被收錄了69項；另一種僅被收錄了2項。一種語言擁有部分最先進的機器翻譯系統支持；另一種則幾乎沒有，且質量較差。這兩種語言分別是荷蘭語和索馬里語。
索馬里語本身沒有任何學習難度或表達能力不足的特性。真正分隔兩者的是一個世紀以來在出版、機構投入、互聯網基礎設施和研究關注方面的積累，一方有而另一方沒有。‘高資源’描述的是這種積累的數字化文本、音頻、詞典、平行語料庫和標註數據的存量——這是語言環境的經濟和歷史事實，而非語言本身的屬性。值得早期糾正的是，低資源並不意味著規模小。博傑普里語、爪哇語、錫萊提語、豪薩語和阿姆哈拉語每種語言都有數千萬母語使用者，並且在等級表中處於較低位置。
語言是如何分類的？
Joshi, Santy, Budhiraja, Bali 和 Choudhury 在《自然語言處理世界中語言多樣性與包容性的現狀與命運》（ACL 2020）一文中，根據每種語言存在多少標註和未標註數據，將世界語言分為六類。這是多語言AI研究中的通用參考點，這些類別通常被賦予易於記憶的名稱。
| 類別 | 姓名 | 語言 | 代表案例 | 數據位置 |
|---|---|---|---|---|
| 5 | 獲勝者 | 7 | 英語、西班牙語、德語、日語、法語 | 強大的在線存在和持續投資；率先受益於每一次技術進步 |
| 4 | 弱勢方 | ~18 | 俄語、越南語、韓語、荷蘭語 | 大量未標註數據，較少標註數據，活躍的研究社區 |
| 3 | 新興之星 | ~28 | 印度尼西亞語、烏克蘭語、希伯來語、阿非利卡語 | 強大的網絡存在，但缺乏標註數據集的收集 |
| 2 | 希望者 | ~19 | 祖魯語、老撾語、馬耳他語、愛爾蘭語 | 少量標註數據集，通常由積極的社區構建 |
| 1 | 爬取者群體 | ~222 | 博傑普里語、切羅基語、斐濟語、格陵蘭語 | 一些未標註文本，幾乎沒有任何標註數據 |
| 0 | 被遺落者 | ~2,191 | 長尾效應 | 本質上完全沒有數字資源 |
數據下面的數字使這一現象顯得尤為鮮明。第5類的七種語言覆蓋了約25億名使用者；第0類的2191種語言——約佔所有研究語言的88%——覆蓋了約10億名使用者。最底層類別擁有世界上絕大多數語言，以及約15%的使用者，但幾乎沒有任何訓練數據可用。
從上往下看這張表，一條界線格外明顯。第 3 類與第 4 類的區別其實不在於網絡上的活躍程度，因為第 3 類語言往往也有繁榮的網絡文化；真正的差別在於經過標註的數據。再往下一層也是如此：“有望發展”與“新星”之間的區別，是是否有人系統地製作了該語言中經過標註和驗證的數據集。
為什麼差距反而會擴大而不是縮小？
因為若無人干預，分佈會集中。四個強化循環在起作用。
預訓練會放大已有的差異。 現代模型主要從大規模未標註語料庫中學習。這本應實現資源的普惠，對中等語言類別的部分實現。然而，一種幾乎沒有任何在線未標註文本的語言，幾乎無法從這種消耗未標註文本的技術中獲益。正如原始研究者所言，無監督預訓練可能使弱勢語言更加弱勢。
研究關注跟隨資源。 對主要計算語言學會議論文的分析發現，類5語言始終穩定位於前兩名或前三名，而類0語言平均排名在第600到第1000名之間。論文數量少意味著基準測試少、工具少、訓練研究人員少——這意味著論文數量更少。
商業激勵加劇了這一問題。 投資流向能夠支付的市場，而這些市場大多使用第4類和第5類語言。那些商業前景最弱的語言，往往是真正需要幫助的語言。
使用者遷移到被服務的語言。 最微妙卻最深遠的循環。當技術在一種語言上有效而在另一種語言上無效時，人們會轉向有效的一種語言。每一次遷移都會減少小語言的數字產出，進一步削弱其地位。這些工具不僅反映了語言不平等，而且加速了這種不平等。
這些測量結果實際上顯示了什麼？
有三組獨立的證據指向同一個方向。
類型學差距。 將類0到類2的結構特徵與類3到類5的結構特徵進行比較，微軟研究發現，在1139個特徵類別中，有549個特徵存在於資源匱乏組而未出現在資源豐富的組中。在高資源類別的模型訓練過程中，幾乎一半的人類語言結構變體從未被遇到。其後果是具體明確的：阿姆哈拉語，作為阿拉伯語之後第二廣泛使用的閃米特語，擁有九個被忽略的類型學特徵，而阿拉伯語則一個都沒有。在跨語言相似性任務中，英語到阿拉伯語的錯誤率為7.8，而英語到阿姆哈拉語的錯誤率高達60.71。這種差距並非源於難度，而是因為模型從未見過這些特徵。
相同內容上的基準差距。 MMLU-ProX將相同的11,829個問題翻譯成29種類型學上多樣的語言，因此不同語言之間的得分差異是模型能力的差異，而非問題本身的差異。在評估36個最先進的模型（包括增強推理和多語言優化模型）時，作者報告了高資源語言與低資源語言之間高達24.3分的性能差異，最強的模型在英語上得分超過70%，而在斯瓦希里語上則降至約40%。這項研究發表於EMNLP 2025。
測量本身的差距。 對於許多語言而言，差距的大小是未知的，而非微小，因為缺乏基準數據。2024年的一項研究創建了大約一百萬個由人類翻譯的新基準數據，覆蓋了八個低資源非洲語言——阿姆哈拉語、巴馬拉語、伊博語、塞佩迪語、肖納語、塞索托語、塞茨瓦納語和茨貢語，涉及超過1.6億使用者，正是由於這些語言此前沒有標準基準數據。
覆蓋差距 = 最強語言的得分 − 目標語言的得分
按語言單獨計算計算結果，而非報告多語言平均值。一個綜合得分往往被高資源語言主導，模型可能在整體平均上表現強勁，卻在市場實際使用的語言上表現失敗。
另一個需要考慮的發現對規劃具有重要意義：流暢性和準確性以不同的速率下降。模型從相對少量的數據中學習語言的結構，因此其輸出在事實可靠性下降到臨界點之後仍能保持語法正確——而一個不掌握該語言的評審員看到流暢的文本，便認為它是合格的。
商業案例是否遵循數據？
實際情況恰恰相反，這使得差距變得昂貴而非僅僅不公平。CSA Research對8709名消費者進行的29個國家調查發現，76%的在線購物者更願意購買信息以自己母語呈現的產品，而40%的人完全不會從其他語言的網站購買商品。
因此，模型表現最弱的市場，往往是本地語言在商業上最為關鍵的市場。一個在這些市場默認使用英語的程序，雖然在儀表盤上看起來是出於質量考慮的決策，實際上卻選擇了商業表現最差的選項。
究竟是什麼推動一種語言提升到更高類別？
由母語者標註的數據。這幾乎對所有低於第4類的語言構成了關鍵約束，而這種數據是爬蟲無法提供的唯一要素。
資源類別對投資有響應，且已有最新實證。Meta在2025年底發佈的多語言語音識別系統（Omnilingual ASR），將語音識別擴展到超過1600種語言，其中包括超過500種此前從未被任何系統服務過的語言。其訓練語料庫中相當一部分是專門委託收集的，通過與當地組織合作，招募並補償母語者，使用開放式提示，使人們自然地表達。這些語言的提升並非源於互聯網的變化，而是因為有人願意親自前往收集數據。
對分類研究發現，從另一個方向也呈現出相同模式：一些最被忽視的語言擁有小型、專注的社區在積極投入，而另一些擁有數百萬使用者的語言——如爪哇語和伊博語——卻幾乎沒有任何此類支持。
以下是兩個規劃結論，以及上述各語言的測量結果。
- 在向市場承諾之前，請先檢查類別。 說話者數量告訴你機會的規模；資源類別告訴你達到該機會所需的工作量。將兩者混淆是導致發佈日期推遲的原因。
- 為數據創建預留預算，而非數據獲取。 對於第4類和第5類語言，數據通常可以找到來源。低於該級別時，通常需要自行生產——這是一種不同的活動，具有不同的時間線和成本。
該項工作的運營層面在其他地方有詳細說明：在低資源語言中收集語音數據 用於錄音和轉錄流程，以及 多語言大語言模型訓練數據質量 用於說明和驗證一個多語言語料庫的規範性。
Lifewood的應對方式
Lifewood 的多語言工作是基於本指南所描述的約束條件構建的：在互聯網未提供數據的情況下，生產標註過的、本地語言的數據。這意味著 50 多種語言，包括代表性不足的方言，通過 覆蓋 30 多個國家的 40 多個交付中心 收集並驗證，項目啟動前對本地母語者進行篩選，並在自動化檢查基礎上疊加人工審核，達到 95% 以上的準確率。該網絡是分佈式的，因為將一種語言提升到更高類別意味著需要在該語言實際被使用的地區配備人員。
資料與進一步閱讀
- Joshi、Santy、Budhiraja、Bali 和 Choudhury，《NLP 領域語言多樣性與包容性的現狀與前景》，ACL 2020：介紹六類分類法、荷蘭語與索馬里語的比較，以及類型學分析。
- 《MMLU-ProX：面向高級大語言模型評估的多語言基準》，EMNLP 2025（arXiv 2503.10497）：涵蓋 29 種語言，每種語言 11,829 個題目，評估 36 個模型。
- "彌合差距：提升低資源非洲語言大語言模型的性能", arXiv 2412.12417, 2024年12月 — 八語言基準測試集的構建。
- Meta AI，"多語言語音識別：推動自動語音識別技術發展"，2025年。
- CSA Research, "Can't Read, Won't Buy" — 在29個國家對8,709名消費者進行調查，2020年。