簡短回答。 "99%準確率"不是一個標準——它只是一個沒有分母、沒有任務定義、也沒有審計方法支撐的數字。一個真正有效的標準需要針對每種任務類型明確四項內容：指標（如F1、IoU、詞錯誤率、校正一致性——根據任務匹配），閾值，審計方法（樣本量、樣本抽取者、黃金標準集註入率），以及若低於該閾值的後果。閾值的設定應基於錯誤帶來的下游成本，而非聽起來令人印象深刻的數值：一個用於安全關鍵感知模型的標籤和一個用於產品標籤系統的標籤，並不應當擁有相同的評判標準，而在所有場景中都採用較高的標準，會浪費本應用於處理困難案例的預算。
標註合同通常只規定一個質量百分比，而沒有任何其他內容。雙方簽字後，爭議往往出現在第一個有爭議的批次——因為該數字從未明確說明測量的是什麼、在哪個樣本上、由誰來評判。
本指南旨在編寫標準，以避免這種情況發生：包括任務類型的指標選擇、閾值設定、審計設計（含抽樣計算）以及使標準可執行的SLA條款。
為什麼單一準確率百分比毫無意義
三個具體缺口。
沒有分母。 準確率是針對什麼而言的——每項內容、每個對象、每個屬性、每幀？一幀包含四十個對象，其中有兩個錯誤，那麼在對象層面準確率為95%，在幀層面準確率為0%。這兩個數值都是合理的，卻得出了相反的結論。
無錯誤類型分解。 一個包含3%錯誤但全部集中在單一罕見類別的數據集，對模型而言遠比3%錯誤均勻分佈的情況更糟糕，且在表面數據上表現完全相同。
無修正機會。 在不平衡任務中，原始一致性因多數類被誇大。兩位標註員對一個95%為負類的數據集可以達成95%的一致性，卻實際上沒有任何區分能力：
Cohen's kappa = (Observed agreement − Expected agreement) ÷ (1 − Expected agreement)
當原始一致性高達95%但Kappa值接近零時，這是經典案例，而任何僅規定"準確率"的合同都完全無法察覺這一點。
步驟1 — 為每個任務選擇指標
| 任務類型 | 指標 | 報告方式 |
|---|---|---|
| 檢測、提取 | F1，分別包含精確率和召回率 | 按類別，加上混淆矩陣 |
| 邊界框、立方體 | 在指定閾值下的IoU | 分別針對近距和遠距範圍 |
| 分割 | 平均IoU | 按類別，絕不只按整體平均 |
| 追蹤 | 序列級別的身份切換次數 | 序列級別，而非幀級別 |
| 轉錄 | 帶明確約定的詞錯誤率 | 按語言和按語音條件 |
| 分類能力 | 每類的F1值 | 附帶混淆矩陣 |
| 排序、偏好、強化學習反饋機制（RLHF） | 機會校正的一致性 | 按任務家族 |
| 情感、意圖、內容審核 | Cohen's kappa 或 Krippendorff's alpha | 按政策類別 |
必須明確寫出兩種約定，否則不同供應商之間的指標不可比。對於轉錄：對不流暢表達、數字、語言混合使用和專有名詞的錯誤如何定義。對於檢測：對截斷、遮擋和模糊對象的處理方式。
精確率和召回率在合同中幾乎不應被合併為F1值。 二者相互制約，你更關注哪一個取決於商業決策。一個必須不遺漏違規內容的內容審核流程需要高召回率；一個必須避免過度刪除的流程則需要高精確率。明確優先級，並設定獨立的下限值。
步驟2 — 從錯誤成本出發設定閾值
從後果倒推，而非從目標正向推導。
| 下游應用場景 | 典型條形圖 | 推理過程 |
|---|---|---|
| 安全關鍵的感知能力 | 最高水平，且對稀有類別的每類設置下限 | 系統性誤差演變為安全故障 |
| 模型評估與基準測試 | 非常高 | 此處的錯誤會破壞所有基於基準的決策 |
| 基礎模型訓練語料庫 | 一致性高，對部分噪聲具有容忍度 | 數量在一定程度上會平均掉隨機誤差；系統性誤差不會被平均消除 |
| 產品元數據、標籤、搜索 | 中等 | 錯誤是可見的，並且下游修正成本很低 |
| 探索性或內部分析 | 更低 | 重做成本超過精度的價值 |
它們之間的一個關鍵區別：隨機誤差通過數量被稀釋；系統性誤差則被數量放大。 一個指導原則的模糊性，導致每個標註員都以相同錯誤的方式標註同一案例，這種錯誤不會被平均消除——它會教給模型一個規則。因此，閾值應配以要求對錯誤進行特徵化，而不僅僅是計數。一個供應商在報告錯誤率時未說明錯誤類型，實際上只是報告了測量的一半。
步驟3 — 設計審計
四個決策，全部都應包含在合同中。
誰來抽取樣本。 如果由供應商選擇審計樣本，那麼審計實際上是在衡量供應商的抽樣選擇。樣本選擇應是隨機的，並且由您來抽取或可驗證。
樣本的規模。 對於在給定置信水平和誤差範圍下進行比例估計：
n ≈ z² × p(1 − p) ÷ e²
其中 z 是置信度乘數（95%時為1.96），p 是預期的錯誤比例，e 是您可接受的誤差範圍。在談判前需瞭解兩個重要後果：所需樣本量隨著您期望的精確度的平方增長，因此將誤差範圍減半會使審計成本增加四倍；並且要精確估計一個罕見的錯誤類別，需要的樣本量遠大於整體錯誤率的估計。罕見類別通常需要有針對性的分層抽樣，而不是更大的隨機抽樣。
連續進行還是在交付時進行。 黃金標準注入——將已知答案的項目以預定速率注入到實際工作中——能夠持續衡量質量，並在幾天內發現漂移。交付門審計則在批次結束時進行，此時重做成本最高。要求兩者並行：注入用於控制，門審計用於驗收。
誰來裁決爭議。 在真正需要之前，就明確這一流程：由第三方重新審核，由雙方同意的仲裁人處理，並設定明確的時間窗口。否則，第一次真正的分歧將演變為商業爭議，而非技術爭議。
步驟4 — 將其寫入SLA
一個可行的質量條款包含六個部分。其中任何一個部分的模糊表述都是爭議的起源。
- 任務定義和指南版本。 質量只能針對特定版本的指南進行衡量。版本控制在這裡並非行政負擔；它是交付成果的定義。
- 每種任務類型的指標、閾值和分母，包括對罕見類別具有重要性的每類最低標準。
- 審計協議 —— 樣本規模和選擇方法、黃金標準注入率、由誰執行、產生什麼證據。
- 接受與拒絕。 當一批工作低於閾值時會發生什麼：全量重做、部分重做，還是接受並給予信用。明確重做的處理週期，因為對時間表的影響通常是最主要的成本。
- 根本原因需求。 超過閾值的批次將觸發書面的根本原因分析以及指導方針或培訓的修改——而不是無聲地重新執行。這是將供應商轉變為合作伙伴的條款。
- 變更管理。 項目中期分類體系變更如何進行版本控制，先前數據是否重新標註或標記為早期版本，誰來承擔費用，以及項目結束後如何重新確立質量基準。
增加兩條在簽署時易於達成、事後卻無法獲得的保護性條款：按語言或按類別報告 而非聚合數據，以及 保留審計證據 以可導出的格式保存，期限為整個項目週期加一個約定的後續期。
一個優秀供應商應當反對你提出的哪些內容
供應商無條件接受你提出的每一個數字，而不是進行討論，這更像是一種警示而非便利。合理的反對意見聽起來像：
- "該閾值在這一類別上是可實現的，而在另一類別上則不可行——以下是原因，我們建議的替代方案如下。"
- "該樣本量無法檢測到罕見類別中1%的錯誤率；你需要分層抽樣。"
- "你提出的指導方針在這一案例中存在歧義，且協議將在此問題解決前被限制。"
第三點是供應商能告訴你最有價值的信息。低標註員間一致性通常意味著指導方針存在歧義，而不是標註員能力不足 —— 這是分類體系需要調整的最早信號，出現在整個批次標註不一致之前。
Lifewood的應對方式
Lifewood 在項目初期為每個任務定義質量標準，而非在整個項目中採用單一綜合指標，因為適用於立方體的指標不適用於轉錄，也不適用於RLHF偏好排序。
由此得出兩個操作選擇。質量通過持續注入黃金標準集來衡量，而非僅在交付時測量，因此漂移問題可在數天內被發現，而非等到批次結束時才被察覺。工作團隊是受控的、在自有交付中心運營的團隊，而非開放的眾包團隊——這在標準方面尤為重要，因為一個穩定的團隊才能使每種語言、每類任務的一致性指標在時間上具有意義，而非僅僅反映當時可獲得的人員情況。覆蓋範圍包括大語言模型數據（包括RLHF和響應評估）在50+種語言中的應用，計算機視覺、語音和自然語言處理、對話式AI、內容審核以及實地採集，由40+個位於30+個國家的中心交付，共有56,788名貢獻者。
參見 AI數據驗證，質量保證流程，交付方法 和 AI數據服務。
資料與進一步閱讀
- Cohen's kappa 和 Krippendorff's alpha 是判斷任務中標準的偶然校正一致性度量方法。
- 配套指南：選擇AI標註服務的9個標準（供應商選擇）和 自動駕駛數據標註（感知特定閾值）。
- Lifewood 的質量保證方法論發佈於 lifewood.com/qa-process。