簡要回答。難點主要在運營，而非語言本身。多語言AI數據項目通常在五個方面遇到障礙：為缺乏專業人才庫的語言尋找合格使用者；在擴大規模時保持質量；工具無法正確處理非拉丁文字；各國不同的授權同意與數據駐留規定；以及多語言並行帶來的協調成本。這些問題都能解決，但需要在項目啟動前建立基礎設施。因此，工期通常取決於招募和試點迭代，而不僅是數據採集。
一位機器學習負責人批准了一項計劃：12種語言，每種語言400小時的對話語音，已完成轉錄和審核，四個月內交付。在紙面上這是一項計劃。實際上，它意味著12個招聘活動、12套操作指南、12個質量保證流程、多個法律體系、至少四個時區，以及同一指令在不同場景下被誤解的十餘種方式。
六週後，情況變得熟悉起來。三種語言進度領先。兩種語言尚未找到足夠多的母語者。一種語言產生了90小時的語音內容，但所有內容都必須被拒，因為貢獻者將‘對話’理解為‘朗讀一段文字’。法律團隊剛剛發現，來自一個市場的錄音無法由另一個地區的員工進行審核。
沒有人誤解了語言。所有人都低估了操作層面的複雜性。
當一種語言沒有專業人才儲備時，如何找到母語者？
不是通過招聘網站。對於大多數排名前二十以外的語言，母語者必須通過本地交付網絡、社區組織、學術合作以及海外僑民社群來尋找。
對於英語、西班牙語或中文這類語言，尋找母語者是採購流程。對於大量其他語言而言，這是一場實地調研工作。一些語言在全球範圍內只有少數人以專業語言工作者的身份在從事相關工作。不存在可以發佈的市場平臺，沒有等待的訓練有素的標註員群體，也沒有現成的數據集可以作為後備。
有三個運營現實隨之而來。
- 篩選比數量更重要。 聲稱流利的申請人和能夠產生自然、符合地域特徵的口語的申請人，是兩個完全不同的群體。嚴肅的項目會嚴格篩選，並接受大多數申請人無法通過，因為一個在採集階段不合格的貢獻者，會在整個流程中引發大量返工。
- 招聘必須本地化。 要接觸到某一地域方言的使用者，通常意味著必須親自身處該地區，或與在當地有運營的組織合作。在沙巴、喀拉拉和東非的招聘，並非一個流程執行三次；而是三個完全不同的流程。
- 留存是能力的一部分。 在一種罕見語言中培訓一名貢獻者是一項投資，一旦失去他們，就意味著必須重新開始。公平的報酬、穩定的工作和清晰的職業發展路徑，不僅是道德承諾，從運營角度看，它們是團隊能夠確保下個季度在該語言中持續交付的關鍵。
為什麼當項目規模擴大時，質量會崩潰？
因為指導原則中的模糊性在小規模下是不可見的，而在大規模下則會變得災難性。一個每週處理1萬個項目併產出優秀成果的團隊，在處理10萬個項目的規模下，會產生嚴重不一致的成果，而這種失敗通常是沉默的：第一批看起來很好，第十批則悄悄充滿了不一致，直到模型性能數週後下降，人們才意識到問題。
根本原因幾乎總是指導原則的模糊性，而非貢獻者粗心大意。如果一條指令可以被理解成兩種方式，小規模下兩個人會以不同方式理解，有人會發現這個問題。大規模下，數百人會分成不同陣營，最終數據集會編碼出矛盾。
三個控制措施承擔了大部分工作：在每種語言中都實施在擴大規模前先進行試點，在實際規模啟動前完成有記錄的評審和指南更新；按貢獻者而非按項目進行抽樣，因為審查總輸出的固定比例可以讓表現較差的貢獻者隱藏在表現良好的批次中；以及採用裁決而非平均，由資深母語者做出決定，並將該決定寫入指南。該閉環的運作機制在人工參與閉環多語言數據質量中有所闡述。
工具鏈中什麼會出問題？
幾乎所有為英語設計的內容。這是個不顯眼的類別，會吞噬項目進度表。
| 什麼會出問題 | 具體表現 |
|---|---|
| 腳本和渲染 | 右到左語言、複雜連字、堆疊變音符號以及奧爾·奇基、蓋茲或蒂芬納格等腳本，在標註平臺上的處理效果不佳。在某個工具中顯示正常的內容，到了下一階段會被悄然破壞 |
| 輸入方法 | 貢獻者需要能夠 輸入 該語言。標準鍵盤佈局可能不可用、存在爭議，或者根本未安裝在人們實際擁有的設備上 |
| 正字法不穩定性 | 存在多個競爭性的拼寫規範，且沒有被普遍接受的標準。項目必須選擇一個並加以文檔化，否則指南本身就會製造出"不一致性" |
| 現場條件 | 在工作室外進行語音採集意味著設備多樣、背景噪音、連接不穩定以及上傳中途失敗。一個假設連接穩定的流程，恰恰在最需要數據的區域丟失了數據 |
這些都不是智力上的難題。所有這些都需要時間去發現，如果團隊之前沒有經歷過，這就是與那些在特定語言中已經遇到這些問題的人合作的主要理由
法律和同意義務是什麼？
比大多數團隊預期的要重，尤其是在語音方面。有三個領域最容易出問題
語音可以被視為生物識別數據。 根據GDPR第9條，以能夠識別個人的方式處理的語音數據屬於特殊類別，通常只有明確的知情同意才是可靠的法律依據。在美國，伊利諾伊州的BIPA和德克薩斯州的CUBI等州級生物識別法律可以將從錄音中提取的語音特徵視為生物識別標識，其本身具有書面同意、保留和刪除的具體要求。滿足一個法規的同意表可能無法滿足另一個法規的要求
跨境訪問構成數據傳輸。 這一點經常被團隊忽視。如果一位歐盟居民的音頻文件被位於另一國家的審核人員打開，這種訪問可能構成跨境數據傳輸，從而觸發所有相應的保護措施。僅僅考慮數據存儲的位置是不夠的；你必須考慮誰可以查看數據以及從哪裡查看。對於一個全球交付網絡而言，這是一個設計約束，因此將工作路由到特定中心——而不是下一個可用的中心——成為了一個操作要求
文檔現在是交付成果。 歐盟《人工智能法案》對高風險系統的數據治理義務，已將來源追溯從良好實踐轉變為合規性證據。越來越多的訓練數據購買方必須證明數據是如何產生的、由誰產生的以及基於何種同意。無論數據質量如何，缺乏明確同意鏈條的數據庫都構成潛在責任
實際後果是，同意書、補償記錄、貢獻者身份、任務分配和質量決策都需要在工作進行過程中被完整記錄 實時記錄。事後重建這些內容幾乎是不可能的。以上內容並非法律建議，且不同司法管轄區以及數據生產方式會帶來不同情況。
如何讓十幾種語言保持同步？
協調成本的增長速度超過語言數量的增長。增加一種語言，並非只是增加一個工作單元，而是要增加一個招聘流程、一個審核流程、一個法律審查環節、一套工具鏈的特殊性以及一個溝通渠道，每一個環節都可能獨立出錯，而交付日期卻必須保持不變。
多語言項目得以維繫的關鍵是 必須完全一致的內容標準化，以及必須本地化的事項的授權委託。規範、質量標準、文件格式和同意標準應在所有語言中保持一致。方言決策、招募策略、指令表述和升級流程應由能夠直接做出判斷的本地語言人員負責，無需等待時區甦醒。
黃金標準參考集是另一個關鍵機制。每種語言都應配備一個小型、經過嚴格裁定的參考集，它能客觀衡量輸出內容是否偏離，使客戶與交付團隊之間的分歧可以通過證據而非主觀判斷來解決。
這也是為什麼‘我們支持50多種語言’單獨來看意義不大，而‘我們已在這些地區擁有經過驗證的人員，已上線並遵循統一標準’則意義重大。
在第一次錄音之前，你應該問什麼問題？
- 誰將具體生產這些數據，他們目前位於何處？ 一個在目標地區已有經過驗證貢獻者合作方，與一個在簽署協議後才開始招募的合作伙伴，處於完全不同的位置。
- 試點階段會發生什麼？ 每種語言都應有一個試點階段，且在擴大規模前需有書面評審和指南更新。
- 質量是如何衡量的，以及頻率如何？ 應關注每個貢獻者的抽樣、評審員之間的一致性、爭議的裁決以及黃金標準參考集，而不是僅在交付時引用一個單一的準確率數字。
- 數據會存儲在哪裡，誰可以訪問它？ 數據駐留、評審員位置和同意範圍應在數據收集前一併回答，而不是事後重新協商。
- 數據集包含哪些文檔？ 同意記錄、貢獻者人口統計信息、質量統計、指南版本以及關於所做決策的書面說明。
- 當母語者與自動化檢查結果不一致時，由誰決定？ 答案始終是母語者，且該決定應被記錄下來。
Lifewood的應對方式
Lifewood 的模型基於分佈式交付而非中央設施，因為這項工作中真正的瓶頸並非掌握一門語言，而是項目啟動時已確認並上線的、位於正確位置的合格人員。 覆蓋30多個國家的40多個交付中心， 50多種語言 包括少數語言變體，以及 56,788 名註冊貢獻者，使得在三個互不相關的區域進行招募成為並行操作，而非三個依次進行的操作。
每種語言都會有一個試點階段，在大規模開展前需有書面評審和指南更新。抽樣按貢獻者進行而非按批次進行，爭議提交給該語言變體的資深母語者，裁決結果將寫入指南，以避免下個月再次出現同樣的模糊性。質量將依據客戶批准的黃金標準集進行驗證，準確率達到 95%以上，按語言分別報告。
同意記錄、貢獻者元數據、任務分配和質量決策在工作進行過程中被實時記錄，而非在最後階段彙總，且工作可被路由至特定的交付中心，以滿足項目所在地及審核員位置的約束要求。持續二十多年運行此項工作——Lifewood成立於2004——本質上是積累了二十多年關於其侷限性的經驗。參見多語言數據收集包含的內容和運行企業級多語言數據收集項目。
資料與進一步閱讀
- Klie, Eckart de Castilho 和 Gurevych 關於標註質量故障模式的總結，見 Kili Technology 的數據標註指南。
- FusionCX, 7個主要數據標註挑戰 — 在大規模場景下的質量退化以及分層質量審核抽樣。
- YPAI, 在歐洲符合GDPR的語音數據收集 —— 語音屬於第9條特殊類別數據。
- Gladia, 語音和轉錄數據的地域存儲 —— 跨境審核員訪問權限以及美國各州的生物識別法律。
- Secure Privacy, 2026年GDPR合規性 —— 訓練數據來源追溯作為控制方的義務。
- 在資源受限情況下的標註質量控制, arXiv —— 在多語言場景下的規模協議檢查。