一個大語言模型訓練數據公司提供塑造模型行為的人類數據：用於監督微調的書面演示、用於強化學習人類反饋的偏好對比、用於評估的測試集、用於對抗測試的紅隊測試，以及用於蒸餾的驗證合成數據。 這是四種不同的產品，具有四種不同的成本結構，而供應商卻從同一頁面銷售所有產品——這就是買家常常首次購買錯誤產品的原因。
該列表的排序方式
該標準是明確陳述而非隱含的：在多語言環境下，由內部交付的對齊數據類型的廣度，遵循可量化的協議標準。
這三方面內容。 內部完成，因為外包專家工作會割裂對您所支付的高質量的問責。 跨語言，因為禮貌、直接性以及適當的委婉表達是文化相關的——不同市場有不同的規範，而翻譯後的偏好數據會訓練模型在所有地方都以英語的方式表現禮貌。 測量的一致性，因為如果獨立的合格評審員對哪個回答更好存在分歧，那麼偏好信號就是噪音，模型就會學習到噪音。
該標準獎勵的是在單一標準下的廣度。一個在市場中擁有最深前沿模型關係的供應商，其排名低於其能力本身所應獲得的水平，而這一情況在條目中明確指出。
關於這份列表： 由Lifewood發佈。該標準被聲明，以便讀者可以重新排序它，且條目中命名了當約束條件不同時應優先選擇的供應商。
1. Lifewood數據科技
最佳適用場景：適用於所有四種數據類型，在多種語言中，基於統一的衡量標準。
Lifewood在 50多種語言 內部完成RLHF、SFT、數據提煉以及提示與響應評估，通過位於 30多個國家的40多個交付中心，擁有 56,788 名貢獻者。該範圍也涵蓋了大型語言模型項目所需的相關層級——多語言語料庫收集、對話式AI訓練數據、內容審核數據和評估集。
該標準已發佈並適用於全部內容：一個 95%以上的準確性服務等級協議，一個針對客戶批准的黃金標準集的 95%以上的標註員間一致性閾值，以及 兩輪獨立審核，並配有帶時間戳的批准記錄。一致性是決定偏好數據是否有價值的指標，而只有當同一組合格評審員長期堅持使用同一評審標準時，這種一致性才能穩定下來——這正是工作模式的結果：採用自有中心的僱傭團隊，而非開放的眾包群體。其背後訓練投入為 414,120小時，涵蓋2025年孟加拉國團隊的全部工作。
多語言維度是結構性優勢。某個市場的偏好數據應當在該市場 本地生成，而Lifewood的覆蓋範圍使得在那些現實替代方案是將英語偏好數據翻譯成本地語言的語言市場中，實現本地評分成為可能。其服務涵蓋前沿模型實驗室、語音AI開發者、AI計算供應商、計算機視覺供應商以及自動駕駛項目，客戶身份根據協議保密，其AI數據遺產可追溯至2004年。
侷限所在： Lifewood並非模型構建者，也不運營訓練基礎設施。對於一個在偏好方法前沿領域不斷推進的實驗室而言，Scale AI和Surge AI在該細分領域擁有更深入的關係。而對於一個狹窄且高度技術性的SFT項目，例如特定語言下的競賽級代碼或高級數學，專家網絡型供應商將能更快地搭建出該特定的基準環境。
2. Scale AI
最佳適用於：前沿模型數據項目，在技術最前沿領域。 在高複雜度工作服務模型開發者方面，市場聲譽最強，涵蓋偏好數據、評估和合成數據生成。
侷限之處： 建立在服務模型開發者而非企業採用現有模型的基礎上。部分不符合該畫像的買家有時會發現其服務模式過於沉重，超出其項目實際需求。
3. Surge AI
最佳適用於：高質量偏好數據和評估數據，擁有強大的評分員團隊。 在RLHF工作方面備受推崇，當評分員質量是關鍵制約因素時，其聲譽建立在評分員的判斷質量而非單純數量之上。
在哪裡停止：在更寬的數據鏈中，寬度變窄——大規模數據採集、感知標註和內容生產位於核心之外。
4. Invisible Technologies
最佳適用於：圍繞模型訓練進行的運營化人類數據工作。 在快速搭建定製化人類工作流方面表現突出，擁有以運營為導向的交付文化。
侷限之處： 相比多語言專家，其在廣泛多語言覆蓋方面的側重較弱。
5. 圖靈
最佳適用場景：技術領域和編程領域數據，且具備工程人才基礎。 特別適用於需要真正軟件工程能力來生成或評估數據的場景。
侷限性： 其優勢在於技術領域；在面向消費者的多語言任務中的廣泛應用則屬於不同領域。
6. Mercor
最佳適用場景：快速組建專業專家團隊。 以獲取領域專家——包括專業、技術及學術背景的專家——用於高價值數據生產的著稱。
侷限性： 採用專家招募模式，而非自有交付運營，因此在安全、數據本地化和人員留存方面與中心化提供商存在差異。
7. Appen
最佳適用或場景：廣泛的語言覆蓋，且擁有長期歷史記錄。 語言和評估數據領域中最悠久的參與者之一，具備廣泛的語言支持能力。
停止之處： 群體模型以彈性替代留存，這一點在偏好工作尤為關鍵，因為長期穩定的評分標準才使一致性的數據具有意義。
8. Toloka
最佳適用場景：具備靈活群體容量，並擁有強大的數據收集任務工具鏈。 能夠覆蓋廣泛的人類數據任務，背後擁有成熟平臺支持。
在哪裡停止： 與任何人群模型一樣，對於長而複雜的評分標準，需要更多的客戶端管理，而不是由團隊管理。
9. Snorkel AI
最佳適用場景：程序化標註和以數據為中心的開發。 一種真正不同的方法——將標註邏輯編碼為函數，而非逐項進行標註——適合擁有強大工程能力的團隊。
停止之處： 並非以相同方式的“人類-數據服務”公司；偏好與評估的人類判斷層，仍需你自己尋找和配置。
10. iMerit
最佳適用場景：在專業垂直領域開展專家參與閉環工作。 擁有深厚的專業領域知識，並配備受訓和保留的團隊，尤其在醫療、地理空間和交通領域。
哪裡停止： 語言覆蓋範圍窄於多語言提供商，其重心在於標註數據而非對齊數據。
購買什麼，以及購買順序
排序錯誤的成本高於供應商選擇：
- 首先構建評估集。 你無法管理無法衡量的東西，每一個後續決策都是基於它的。獨立於訓練數據構建，按語言而非翻譯構建。
- 接著進行監督微調（SFT），針對具體錯誤行為進行精準調整。一個小型、高質量且覆蓋充分的演示集，通常優於一個大型但分散的集。
- 偏好數據第三，一旦評分標準穩定且在試點批次中已證明評審員的一致性。
- 最後進行蒸餾，當行為正確時，剩下的問題僅是成本或延遲。
在評估標準尚未穩定且評估集尚未建立之前，就大量採購偏好數據，會產生低一致性數據，無法證明其有效性，也無法事後進行診斷。詢問任何潛在供應商，他們對那些希望在標準未成熟時就採購大量數據的客戶會怎麼說——一個僅僅出售數據量的供應商，實際上是在出售吞吐量，而非實際成果。