簡短回答。 當現有現成語料庫已匹配您的任務、語言、模態和權利立場時，且啟動時間比適配性更重要，應購買現成數據集；當模型的優勢依賴於競爭對手所不具備的數據，或公開及授權語料庫無法代表您的部署環境（如專有工作流程、特殊設備、地方方言、機密文件、專家推理、罕見操作場景）時，應委託定製數據集。決定性的比較並非是許可費與項目費之間的對比，而是最終進入訓練的每項成本，因為一個看似便宜的語料庫若需重新授權、去重、重新標註、格式轉換和語言審核，其實際成本並不低廉。大多數成熟項目最終都會同時採用兩者，而使二者協同可行的關鍵在於源級來源追溯。
通常，這一選擇被表述為‘自建’與‘採購’，並以總體價格作為決策依據，這是錯誤的維度。一個授權數據集和一個定製數據集會以不同方式失敗：授權數據集因不匹配而失敗，定製數據集因規格定義不當而失敗。這兩種失敗在採購前均可診斷，本指南將詳細說明如何實現。
兩種選項並列對比
| 現成數據集 | 定製數據集 | |
|---|---|---|
| 首次數據獲取時間 | 天 | 周到月 |
| 符合您的部署條件 | 採集器所需的一切 | 您指定的一切 |
| 權利立場 | 由許可固定，邊際可協商 | 在投運時由您定義 |
| 差異化 | 沒有——競爭對手也可以買 | 實施它的理由 |
| 本體與模式 | 供應商的 | 你們的，圍繞模型目標設計 |
| 成本結構 | 前期投入低，下游變更維護成本高 | 前期投入高，後續迭代修改少 |
| 主要風險 | 訓練後發現覆蓋範圍不匹配 | 一份描述錯誤內容的規範文件 |
| 刷新 | 取決於供應商的發展路線圖 | 取決於你的預算 |
差異化行是戰略性的，而差異化論點往往被誇大。大多數模型實際上並不是通過其預訓練語料庫來區分的；它們是通過一小部分任務特定材料來實現差異化的，而這些材料是其他任何人所沒有的。這一觀察通常會將正確答案引導至 授權廣度加定製深度，而不是偏向任一極端。
什麼時候選擇現成數據集是正確的採購決策？
- 原型設計與基準測試，其目的在於先確認一種方法是否可行，再進行具體細節的定義。
- 在服務良好的模態中常見的任務 — 如通用語音識別、通用物體檢測、主流語言對 — 這些領域的公共和商業供應質量確實良好。
- 數據量補充 與定製核心相結合，其中覆蓋面重要而精度不那麼關鍵。
- 評估基準，其中與已發表基準進行比較是要求的一部分。
關鍵問題不是質量，而是與您部署條件的契合度。數據是護城河。 如果模型的優勢依賴於競爭對手無法獲取的資源，那麼獲取這些數據就違背了初衷。
何時需要定製數據集？
五個信號，其中任何一個通常就足夠了：
- 數據是護城河。 如果模型的優勢依賴於競爭對手無法獲取的資源，那麼獲取這些數據就違背了初衷。
- 公共語料庫無法代表實際部署。 不常見的設備、專有工作流程、特定的聲學或視覺環境、工業流程、內部文檔格式。
- 語言或方言覆蓋存在差距。 在主流語言之外，授權供應迅速減少，其質量也很難從外部進行評估。
- 需要領域專業知識才能完成。 專家推理、專業判斷和流程知識無法從一般語料庫中以足夠規模獲取。
- 權利需要明確無歧義。 當使用具有高風險或語料庫將被重新分發時，通常只有通過委託才能獲得每個項目清晰的權利定位。
定製化還帶來了更不明顯的收益：你可以定義本體。 模式、提示、元數據和質量標準都是圍繞你的模型目標設計的，而不是圍繞原始收集者所需的內容設計，而這決定了數據是否能在未來模型中被複用，而不是僅服務於單一模型。
如何誠實比較成本
貼標價格是對比中最不具信息量的數字。應以可實際使用的輸出量為基準進行比較。
每個可用數據項的成本 =（授權或項目費用 + 清洗 + 重新標註 + 法律審核 + 工程 + 存儲 + 更新）÷ 最終進入訓練的數據項數
分母是授權數據集最常被誤判的地方。項目因許可證條款排除商業模型訓練、覆蓋範圍與部署環境不匹配、標註使用不兼容的分類體系、格式需要轉換、與已持有的材料重複、語言質量未通過審核等原因被剔除。這些情況均不會出現在發票上。
分子部分是自定義項目最容易被誤判的地方，且往往是反向判斷。一個自定義項目費用通常包含規格設計、人員招聘、數據採集、標註和質量保證——這些工作，一個授權數據集同樣需要，但會由內部團隊完成，並計入工程人力成本，而非數據預算。應通過對比雙方內部工作量的成本來進行公平比較。
還有兩項內容應納入計算，卻常常被忽略。刷新，因為處於快速發展的領域中的語料庫具有有效期，後續版本將有人為此付費。以及重用價值，因為一個具備良好元數據、明確權利歸屬和完整文檔結構的自定義數據集可以服務於多個模型，而一個缺乏這些要素的數據集則只能服務於單一模型。
授權數據集前的盡職調查
要求提供文檔，然後將其與實際數據進行核對，而不是僅閱讀文檔。
- 權利與許可。 具體而言：是否允許商業模型訓練，是否允許分發衍生模型，是否存在使用領域或地域限制，以及在終止協議時的處理方式。
- 來源追溯。 數據來源、採集方法、採集時間，以及涉及個人數據時的同意基礎。一個無法描述自身來源的數據集，無論質量如何，都是一種潛在風險。
- 按分層覆蓋。 不是總覆蓋量，而是按語言、區域、設備、場景和類別進行統計，以便與自身的覆蓋計劃進行對比。
- 標註方法。 包括指南的可獲得性、標註員資質、標註重疊率、一致性指標以及爭議解決機制。'人工驗證'並非一種標註方法。
- 已知侷限性。 缺少侷限性部分的數據集卡片，其生產方未對其進行審查。
- 更新歷史。 是否持續維護，維護頻率如何，以及早期版本是否仍可獲取。
- 每個重要細分段的樣本 —— 不是精選預覽。預覽是選擇性產物；請要求從你關心的每個分層中隨機抽取樣本。
- 一項試點實驗。 對數據集最可靠的判斷是：它是否在關鍵條件下提升了目標模型或評估表現。在授權整體數據前，先在其中一小部分上運行該實驗。
紅燈警示： 許可條款對模型訓練保持沉默；覆蓋範圍僅以總數描述；標註被描述為‘高準確率’但未提供具體指標或方法；未明確列出侷限性；拒絕提供每個分層的隨機樣本；來源追溯僅以過程描述代替實際記錄。
混合方法為何有效，以及其有效性的關鍵因素
大多數成熟項目最終會授權廣度並委託深度。授權數據縮短了初始時間線，並覆蓋了通用情況；定製數據採集則用於處理模型差異化或授權數據表現不佳的細分領域。
實現的前提是 源級來源追溯貫穿到合併語料庫中。 每一條記錄都必須保留其來源以及相應的權利信息，因為後續的每一步操作都依賴於此：排除因許可變更而失效的來源、對定製內容賦予更高權重、向審計方報告構成情況、響應刪除請求，或診斷語料庫中哪一部分導致了行為變化。缺乏來源標籤的合併語料庫是無法拆分的語料庫，而這通常在最糟糕的時刻才被發現。
第二個條件：保持評估集的定製性和獨立性。 該評估集應從原始數據源中獨立構建，針對兩個數據源進行汙染篩查，並且在多語言工作中應按語言分別構建，而非翻譯生成。從一個已授權語料庫中提取的基準數據，可能已被基礎模型提前接觸過，因此會產生自信但錯誤的判斷。
Lifewood的應對方式
Lifewood 從需求說明出發，而非從目錄中選取：明確哪些需求部分可由現有材料滿足，哪些需要新增收集，然後基於書面覆蓋計劃構建定製層，並在每個條目進入時記錄其同意和來源追溯，而非在交付時重新構建。
定製部分是決定交付範圍可行性的關鍵。 50+語言， 40+個交付中心覆蓋30+個國家 和 56,788 名註冊貢獻者，意味著在授權供應稀薄的市場中開展數據收集，數據在本地市場生產而非翻譯，採用雙重人工參與閉環驗證，準確率保持在 95%+ 以上。覆蓋範圍包括多語言數據收集、多模態標註、大語言模型訓練數據及響應評估。AI數據遺產可追溯至2004年，公司目前成立於2018年。
參見 全球AI數據，多語言數據收集，企業級大語言模型訓練數據 和 AI數據驗證。
資料與進一步閱讀
- NIST，人工智能風險管理框架（AI RMF 1.0，2023年1月）——關於來源追溯與文檔記錄作為生命週期要求。
- 配套指南：什麼是AI訓練數據，以及什麼樣的數據是好的？ 和 內部標註與外包標註的成本對比。