簡短回答。 語言混合——在一個句子中使用多種語言——會在語言邊界處破壞單語語音識別系統。第一代系統會將整個句子分類並路由到一個單語模型，而該模型無法處理句子內部的語言切換，因為沒有一個模型能覆蓋整個句子。實際操作中，有四種類型：跨句、句內、插入式和詞內，後一種情況例如英語詞根加上班圖語前綴。已發表的資源主要集中於中文-英文、印地語-英文和阿拉伯語-英文，因此對於大多數低資源語言對，幾乎沒有可微調的資源，只能通過數據收集來解決。
是否混合使用語言？
在達卡問某人一天過得怎麼樣，你可能會收到一個句子，開頭是孟加拉語，中間包含一個英文名詞短語，結尾是孟加拉語動詞。對話中沒有人注意到。這不是兩種語言輪流使用，而是一種說話方式。
現在將這個句子輸入一個基於單語數據訓練的語音識別系統。在語言邊界處，詞錯誤率會飆升30至50%，分詞器會發出未知標記，實時流在切換點處會停滯。
世界實際語言使用情況與大多數系統能夠處理的內容之間存在的差距，正是代碼切換數據收集成為一門學科的原因。這也是最難有效收集的內容之一，其原因並不在於記錄本身，而在於你寫下的內容。
代碼切換究竟是什麼，以及為何類型至關重要
代碼切換，有時在語音學文獻中被稱為代碼混合，是指在同一話語或語篇中使用兩種或以上語言的元素。
在實際操作中，關鍵的區別在於切換髮生的地點，因為每種類型都會破壞管道的不同部分。
句間切換髮生在句子之間。一個句子是馬來語，下一個句子是英語。這是最簡單的情況，部分管道可以接受這種處理。
句內切換髮生在單個話語內部。這是實踐中最常見的案例，它會破壞標準架構，原因值得深入理解：第一代系統會對整個話語進行語言分類，分配一個語言標籤，並路由到單語模型。這種做法在句內切換情況下完全失敗，因為話語包含兩種語言，而必須有一個標籤獲勝。
嵌入式切換將一個語言的單個單詞或短語嵌入到另一個語言的語境中。極為常見，且容易被誤標為噪聲或口音現象。
詞內切換是最難處理的。文獻中給出的最清晰例子來自班圖語族：英語詞根攜帶班圖語前綴，同時模糊了語音和詞彙邊界。一個既不屬於一種語言也不屬於另一種語言的詞，無法被分配到任一語言中。
如果您的收集規範沒有區分這些情況，您的數據集將包含全部四種情況且標註不一致，這將導致一個幾乎無法為模型提供有效訓練的語料庫。
現有數據存在的地方，以及它不存在的地方
這種集中程度非常明顯，開展任何項目之前都值得了解。
大量已發表的資源和基準關注中文-英文、印地語-英文和阿拉伯語-英文，此外還有一些低資源配對，例如弗裡西亞語-荷蘭語和馬來語-英文。
即使是資源較為豐富的配對，其規模也相當有限。在ASRU 2019中文-英文挑戰賽中，DataTang發佈了500小時的純中文語料、200小時的句子內混合語語料，以及40小時的開發數據。
CS-Dialogue是一個較新的語料庫，包含104小時的自發中文-英文對話。對於南非語言，一個常被引用的語料庫來源於電視劇音頻，覆蓋了英語、isiZulu、isiXhosa、Setswana和Sesotho，共計14.3小時。
五種語言，共計14小時，位於地球上最頻繁發生語言混合使用的語言環境中之一。
文獻中給出的解釋是直接的：現實世界中的語言混合使用數據稀缺，因為標註語料庫仍然罕見且收集成本高昂。而一個特定原因很容易被忽視：語言混合使用主要是一種口語、非文學現象，因此從文本中抓取數據無法產生這種現象。書面記錄恰恰未能充分反映其真實存在的語境。
對於大多數語言對而言，這類數據並不存在，也無法找到，必須自行構建。
數據收集的設計決策
獲取真實切換現象與否，取決於 elicitation 方法的選擇。
朗讀語句無法產生自然的語碼轉換。給雙語者一份腳本，讓他們朗讀腳本。ASRU 挑戰數據是通過智能手機在安靜房間內採集的，來自30個省份的說話者，這產生了乾淨的音頻和受控的環境，但限制了自發性。
自發對話會產生真實的語碼轉換，且音頻質量更復雜。CS-Dialogue 數據集是專門構建用於自發對話，並包含完整長度的轉錄；南非語料庫採用廣播內容，正是因為腳本式採集無法產生該現象。
大多數項目在實踐中採用的主題引導對話方案：給參與者提供討論主題，而非讓他們朗讀句子，從而讓語碼轉換自然發生。
說話者的人口特徵需要有意識地多樣化。ASRU 數據報告了來自30個省份的說話者，其中70%年齡在30歲以下，性別比例無顯著失衡。這種年輕說話者佔多數的情況值得作為侷限性而非模型來關注，因為年齡、教育背景和社會環境會顯著影響語碼轉換模式。同一城市中的年長說話者可能在不同點切換、以不同速率切換，甚至幾乎不切換。
錄製條件應與實際部署環境相匹配。如果產品在嘈雜環境中運行於手機，那麼使用受控錄音室的音頻構建的模型，僅適用於錄音室環境。
領域覆蓋比單語語料庫更重要，因為行為切換具有領域依賴性。
技術詞彙會在某些社區中觸發切換，而日常對話則不會。
決定數據集是否可用的核心部分：轉錄
規範 這是代碼切換項目成功或失敗的地方，它是在任何音頻錄製之前做出的規格決策。
核心要求是在詞級別進行語言標註。MUSCAT基準團隊在多語言科學對話項目中要求標註員在發生代碼切換時，標註所有屬於嵌入語言的詞彙。這就是最低可行規範：不僅標註說了什麼，還要明確每個詞屬於哪種語言。
如果沒有這一規範，你將得到一個單語模型會誤讀的轉錄，以及一個無法從其中學習切換點的代碼切換模型。
還需要在前期確定若干其他決策：
嵌入語言的腳本選擇。當一名印地語使用者使用一個英語詞時，是採用拉丁字母書寫，還是轉寫為天城文？這兩種規範都存在。在同一語料庫中混合使用，就是失敗模式。
詞內處理。對於帶有班圖前綴的英語詞根，該詞應被標記為一種語言、兩種語言，還是一個獨立類別？目前沒有默認答案，標註指南必須明確指出一種方案。
命名實體與藉詞。一個作為藉詞進入矩陣語言的詞，並不構成語言交替。在藉詞與真實語言交替之間劃界屬於判斷性問題，需要有明確的規則並輔以實例，否則兩名標註員可能會得出不同結論。
語言分段。對於多說話人音頻，DISPLACE挑戰將其劃分為兩個並行問題：誰在何時說話，以及在何時使用了哪種語言。後者是一個獨立的標註層級，常常在項目範圍界定時被忽略。
在南非語料庫上工作的研究人員使用ELAN對單語和混合語段進行人工標註，記錄每種語言的時長統計數據，以驗證其代表性。這個細節值得複製：知道一個語言交替語料庫中每種語言的具體小時數，與知道總小時數是不同的，只有前者能告訴你這種平衡是否可用。
標註員問題
語言交替的轉錄無法由任一語言的單語者完成，這一限制比聽起來更嚴格。
一位精通孟加拉語但不精通英語的轉錄員會錯誤轉錄英語部分。一位精通兩種語言但不瞭解該特定社區中兩種語言如何混合的轉錄員，則會將語言交替‘正常化’，用一種語言寫出說話者‘本意’的內容，而非真實跨語言表達的內容。
MUSCAT團隊遇到過類似問題，並以一種值得借鑑的方式解決了它。由於無法找到同時精通兩種語言且熟悉技術科學領域的外部標註員，他們採用了自動轉錄作為初步步驟，再由原始說話者自行校對自己的錄音，從而確保了語言和領域層面的準確性。
這種方法並不能適用於每一個項目，但其基本原理是成立的：驗證層需要一位與說話者擁有相同語言能力的人員，而不僅僅是具備兩種語言的獨立能力。
這一點凸顯了我們自身影響力的重要性，因此我將聲明利益衝突。Lifewood 在全球超過30個國家的交付中心開展數據收集工作，而語言切換是其中最明顯的情況之一，即在地區內存在實際參與的必要性而非偏好。達卡的孟加拉語-英語切換、吉隆坡的馬來語-英語切換、內羅畢的斯瓦希里語-英語切換：每種語言切換都有其獨特的切換點、已確立的藉詞，以及關於哪些混合語聽起來自然而非刻意表演的共識。
這意味著招聘必須在當地進行，而驗證則需要來自同一社區的第二位說話者，而非來自任何地方的雙語評審員。
領域正在發生怎樣的變化，以及這對數據收集意味著什麼
有兩個發展值得了解，因為它們影響了哪些數據是值得收集的。
架構已經超越了語言識別路由。傳統的級聯方法（先分類再路由）增加了複合延遲，並在語言切換過程中截斷了詞語。端到端的多語言架構能夠原生處理句子內部的語言切換，無需語言識別路由的開銷，據報道在語言邊界處將詞錯誤率降低了最多55%。基於10至25毫秒聲學片段的幀級語言識別，直接解決了‘必須選擇單一標籤’的問題。
數據收集的含義是：僅在語句層面進行標註的數據，其價值已不如以往。詞級和幀對齊標註已成為更有用的格式。
正在使用合成的混合語言數據來補充真實數據，這些數據是從單語轉錄文本生成的。
近期的研究明確將這一點視為減少對昂貴真實世界數據收集依賴的一種方式。誠實的提醒與該領域其他地方相同：合成切換反映了設計生成過程的人所設定的切換模式，而非社區的實際模式，即使它用於補充訓練數據，也需要真實數據作為評估的錨點。
還值得注意一個測量方法的發展。標準詞錯誤率（WER）在整句中平均衡量性能，這會稀釋你真正關心的內容。針對此類問題提出的興趣點錯誤率（POI Error Rate），直接衡量切換點本身的準確性。如果你正在委託混合語言數據，請詢問評估將採用何種指標，因為整體WER可能看起來可接受，而切換點的性能卻可能很差。
項目範圍中需要明確指定的內容
語言對及方向。印地語-英語並非單一情況；印地語-矩陣中夾雜英語插入與英語-印地語方向的行為表現不同。
在範圍內的切換類型，明確列出，包括是否包含詞內切換以及如何進行標註。
數據採集方法，以及當自發性與音頻質量發生衝突時，優先考慮哪一個。
說話者的人口統計特徵，明確指定年齡和場景分佈，而非簡單假設，因為切換行為在這些方面變化顯著。
完整的轉錄規範，附帶具體示例：詞級語言標籤、嵌入語言的腳本、詞內規則、借用邊界以及分隔層的語音識別層。
語種特定的時長目標在語料庫中，而不僅僅是總小時數。
評估指標，因此語料庫的構建是為切換點性能優化，如果這一點至關重要的話。
來自說話者所屬社區的母語者驗證，而不僅僅是雙語評審。
必須正確掌握慣例，適度的語料庫是有用的；如果掌握錯誤，大規模語料庫將混合四種標註風格，任何模型都無法從中學習到一致的規則。
關鍵要點
- 語言切換是指在一個句子或話語中使用多種語言的元素，它在語言邊界處破壞了單語ASR，導致詞錯誤率飆升30到5及50%。
- 第一代系統會對整個話語進行分類並路由到單語模型，由於話語內部的切換，該模型無法處理，因為必須有一個標籤獲勝。
- 實際操作中，四種類型至關重要：句間、句內、插入式和詞內。詞內切換，例如帶有班圖前綴的英語詞根，是最難的，因為它同時模糊了語音和詞彙邊界。
- 已發佈的資源在中文-英文、印地語-英文和阿拉伯語-英文之間集中，低資源語言對的覆蓋非常有限。
- 即使對於資源充足的語對而言，規模也相當有限：ASRU 2019 版本包含 200 小時的中文-英文混合語料，CS-Dialogue 有 104 小時，而一個廣泛使用的南非語料庫則覆蓋了五種語言，共計 14.3 小時。
- 混合語碼主要以口語形式出現且非文學性，因此文本爬取無法生成此類語碼。對於大多數語對，數據必須人工創建。
- 朗讀語料無法產生自然的語碼切換。通常通過主題引導的即興對話，在真實性和音頻質量之間取得平衡。
- ASRU 語料庫的說話者年齡主要集中在 30 歲以下，這是一個侷限而非模型特徵，因為語碼切換模式會隨年齡、教育背景和使用場景而變化。
- 詞級語言標註是最基本的可實現轉錄規範。MUSCAT 標註員被要求標註所有屬於嵌入語言的詞彙。
- 在錄音前必須確定五個規範：詞級標籤、嵌入語言的書寫形式選擇、詞內處理、藉詞與切換邊界劃分，以及語言語音分離。
- 語言語音分離要求明確在何時使用了哪種語言，這是一個與說話者語音分離不同的標註層級，且在項目範圍規劃中常被忽略。
- 轉錄需要標註員具備與說話者相同的語言能力，而非分別掌握兩種語言。MUSCAT 項目中，說話者會自行校對其語音識別草稿轉錄內容。
- 端到端的多語言架構現在能夠原生處理句子內部的語言切換，據報道在語言邊界處將詞錯誤率降低了最多55%，這凸顯了詞級和幀對齊標籤相較於語句級標籤的價值。
- 合成的混合語言數據可以補充真實數據，但它反映了其生成器的語言切換模式，因此真實數據仍然是作為評估基準所必需的。
- 興趣點錯誤率專門衡量在切換點的準確性，而整體詞錯誤率會稀釋這一指標。
資料與進一步閱讀
- 格拉迪亞，"語音識別中的語言切換：2026年ASR指南"，在邊界處詞錯誤率出現峰值，語句級與幀級語言識別的區別，以及端到端架構在語言邊界處將詞錯誤率降低最多55%
- "CS-Dialogue：一個104小時的自發性中文-英文語言切換對話數據集，用於語音識別"，arXiv，關於語料庫規模和語言切換的定義
- 新興心智，"語言切換ASR進展"，關於南非五語言語料庫，ELAN標註及各語言時長統計，詞內語言切換與班圖語詞綴，以及資源集中在中文-英文、印地語-英文和阿拉伯語-英文
- "ASRU 2019中文-英文語言切換語音識別挑戰"，arXiv，關於DataTang數據集的構成和說話人人口統計
- "MUSCAT：多語言科學對話基準"，arXiv，關於ASR初檢後由說話人進行修正的工作流程，以及指示嵌入語言詞彙的標記
- "第二屆DISPLACE挑戰：對話環境中說話人與語言的分離識別"，arXiv，關於語言分離識別作為一項獨立任務
- "為高性能多語言語音識別系統添加穩健的語言切換能力"，arXiv，關於數據稀缺性，合成語言切換數據的生成，以及興趣點錯誤率
- arXiv 論文《印度諸語言中的語碼轉換與語碼混合語音識別》，討論語碼轉換較少見於書面文學語言的特點，以及由此造成的語料短缺
- Lifewood, 多語言語音數據採集與交付網絡