簡短回答。 在撰寫任何提示之前，對紅隊數據集的構建需做出三個關鍵決策：採用何種分類體系、是自行構建、借用還是收集、以及如何劃分自動化測試與人工測試。其中分類體系最為關鍵，因為它決定了什麼能夠被發現——凡是超出該體系的內容並非缺失，而是不可見的，且2026年CHI研究發現，構建方法本身會影響從業者對風險的認知。如今，這已成為合規問題：歐盟人工智能法案已於2026年8月全面實施，其中第55條要求對具有系統性風險的GPAI模型進行有記錄的對抗性測試。
大語言模型紅隊測試的數據集？
有一項2026年CHI論文中關於紅隊實踐的研究發現，我一直無法停止思考，因為它重新定義了整個測試流程。
研究人員採訪了從業者，瞭解他們如何構建對抗性數據集，發現數據集創建的方法影響了他們對風險的認知。基於現有數據集構建的團隊繼承了源材料中已嵌入的傷害定義。從零開始構建數據集的團隊則自行選擇了其分類標準。
請再次閱讀，因為這一隱含的含義令人不安。分類體系並非中立的發現容器。它決定了什麼能夠被發現。一個包含十四類傷害的紅隊計劃將發現十四類傷害。凡是超出這些類別的內容，並非負面結果，而是被視作不可見的。
這正是本話題的誠實起點，它解釋了為何如此多的紅隊工作會產生看似令人安心的模型報告，而這些模型在實際生產環境中卻會失敗。
在繼續之前，先說明一下範圍。本文聚焦於安全數據集的構建、人員配置和治理作為一項數據運營工作。它並非攻擊技術的目錄，我有意將其停留在方法層面，而非具體方法。那些開展此項工作的組織通常會公佈其流程，而非其攻擊載荷。
為何如今這已成為合規要求，而非一項研究活動
監管立場顯著加強。
歐盟《人工智能法案》於2026年8月正式實施。第55條要求對具有系統性風險的通用人工智能模型進行有記錄的對抗性測試。第9條要求建立風險管理系統，包括生命週期內的測試程序。不合規將面臨最高達3500萬歐元或全球年營業額7%的罰款。
在美國，NIST人工智能風險管理框架中的MEASURE功能正式將對抗性測試確立為標準實踐，聯邦採購指南也越來越多地將紅隊工作列為必要要求。
因此，對於大多數組織而言，問題已從是否要這樣做，轉變為如何以一種能夠產生可辯護文檔的方式去實施。所謂‘文檔化的對抗測試’，指的是數據集、分類體系、覆蓋範圍、方法論和結果本身，而不是一段簡要說明‘測試已進行’的段落。
決定一切後續工作的三個關鍵選擇
CHI研究指出了這項工作中三個關鍵節點：定義和界定任務、構建對抗性數據集、以及針對該數據集評估模型。每一個環節都包含一個決策，該決策將對後續所有內容產生約束。
第一個決策：採用誰的分類體系？
複用一個已建立的分類體系，能夠確保方法論的一致性，並與已發表的研究結果保持可比性。同時，這意味著繼承了他人對‘有害行為’的定義，而該定義是為他人特定的應用場景所構建的。
另一種選擇是基於自身的風險評估來構建分類體系，這將帶來更相關的內容覆蓋，並使你的結果無法與他人進行比較。
兩者都沒有錯。錯誤之處在於默認做出選擇，而這正是當一個團隊下載公開數據集後，未經審查其對‘有害內容’的分類標準，便直接開始運行時所發生的情況。
分類體系如何嵌入假設的一個具體例證：對一個廣泛使用的安全數據集的分析發現，表現出人類般情感或行為的響應被標記為安全，這使得情感操控風險完全被排除在測量範圍之外。這不是標註中的錯誤。這是一個從未被劃入分類體系的類別。
決策二：構建、借用還是收集？
從業者描述了三種數據來源，且對其價值有明確的層級判斷。複用知名數據集被視為確保方法論一致性的途徑。從零開始構建，或收集真實的人類-大語言模型交互數據，被認為會產生獨特且更具價值的數據。
這種感知是正確的，且是該領域最重要的操作事實：公開的對抗性數據集由於模型越來越傾向於通過它們而變得不再可靠。一旦一個基準進入模型訓練分佈，它就不再衡量安全性，而是衡量記憶能力。
這意味著一個公開的數據集只能告訴你模型如何應對已知的攻擊，而對新型攻擊一無所知，而新型攻擊恰恰才是關鍵所在。
決策三：自動化、人工還是兩者結合？
據報道，自動化紅隊框架發現漏洞的速率是人工專家測試的3.9倍，並能同時覆蓋多個威脅類別。這是一個真實且不應被忽視的效率優勢。
但貫穿各來源的框架是：自動化工具提供廣度，而人工紅隊成員則提供深度，包括髮現新型攻擊和領域專業知識。Anthropic的政策漏洞測試與OpenAI的外部紅隊網絡雖然結構不同，但都基於同一前提：領域專家人工構建的探測工具，是自動化攻擊者不會想到編寫的內容。
前沿實驗室實際上發佈的內容關於其流程
這一點值得了解，因為它確立了一個參考標準，而且這些數據揭示了什麼是真正深入的覆蓋情況。
GPT-4o 系統卡片報告了來自29個國家、使用45種不同語言的100多名外部紅隊成員。操作員系統卡片，涵蓋OpenAI的網頁瀏覽代理，報告了該特定領域涉及20個國家和24種語言。OpenAI的方法論發表於Ahmad等人撰寫的《人工智能模型和系統的外部紅隊方法論》一文中。
Anthropic的政策漏洞測試詳細描述了針對特定使用政策主題，與外部領域專家進行的定性測試。
有兩個突出點。第一，外部參與的規模：這並非一個內部團隊執行檢查清單。第二，對於任何正在構建相關計劃的人來說，語言和國家覆蓋範圍被明確列為一個核心指標。
45種語言是一個明確的聲明，表明安全行為會因語言而異，僅在一個語言中進行測試並不能推廣到其他語言。
, 我所見過的大多數企業級紅隊計劃僅在英語中進行測試，然後將安全結果報告為適用於整個部署。
多語言差距，這是大多數計劃中最大的漏洞
這值得單獨設立一個章節，因為證據異常清晰，而其影響卻長期被低估。
安全對齊是通過訓練實現的，而非繼承。模型在所學語言中存在護欄，這意味著模型在英語中可能嚴格，在其他語言中則可能寬鬆。
布朗大學的研究人員通過將不安全的英語提示翻譯成資源匱乏的語言（如祖魯語）並使用免費翻譯工具發送給GPT-4，證明了這一點。這種方法導致有害回應的比例約為80%，而使用英語直接提出相同請求的模型則會拒絕這些請求。
這一問題的演變而非解決。2026年的一項研究測試了包括基爾瓦希利語、塞索托語和塞祖魯語在內的非洲語言發現，簡單的翻譯攻擊不再那麼容易成功，這確實是一項進步，但跨多輪對話的攻擊仍然以高頻率成功。在79種語言上分別評估發現，當提示從英語轉向資源匱乏語言時，不安全回應率最高上升了25個百分點。
被忽視的戰略要點：這不僅是一個資源匱乏語言使用者的問題。任何語言中護欄失效，都意味著任何人都可以利用免費翻譯工具繞開該護欄。多語言安全數據是一種安全控制，而非多樣性倡議。
該領域正通過語言特定的安全數據集作出回應，包括對阿爾巴尼亞語的研究以及越來越多的類似努力，但與模型部署的語言數量相比，覆蓋範圍仍然很薄。
一個可用數據集實際上包含的內容
一組對抗性提示並不構成一個數據集。2022年Anthropic紅隊發佈的數據集展示了這一差距：包含20個類別的38,961個紅隊攻擊，規模相當可觀，但分析指出，缺乏標註的響應使其在自動化紅隊測試和評估中的實際應用受到限制。
一個既支持評估又支持訓練的數據集，每條記錄需包含：
提示或對話，包括相關的完整多輪序列，因為多輪對話中存在當前大部分風險。
模型響應，原文完整呈現。
來自已文檔化的分類體系的有害內容類別標籤，並記錄該分類體系的版本。
嚴重程度分級，因為‘不安全’並非單一狀態，且修復優先級取決於具體程度。
成功或失敗判斷，用以評估嘗試是否實現了其目標。
攻擊技術分類，通過跟蹤技術類別以衡量技術多樣性，而非假設其存在。一個實踐組織指出，其培訓紅隊成員掌握各類對抗技術，並系統性地跟蹤技術多樣性，以確保在各類活動中覆蓋全面，這是一種值得借鑑的紀律：若缺乏此類措施，團隊將趨向於個體認為最有效的技術，覆蓋範圍會悄然縮小。
語言和區域設置。
標註員身份及其裁決歷史，與任何標註項目所需相同原因。
在標註哲學方面，從業者們的指導意見是一致的：保守型標註，即安全標籤傾向於謹慎，能夠為防禦性系統產生最可靠的訓練數據。一個誤報會導致本應被拒絕的良性請求被誤判；一個漏報則意味著系統未能阻止其本應防範的事物。
覆蓋範圍，以及程序如何悄然縮小
三種失敗模式反覆出現，這些模式在儀表盤上看起來都像是成功。
技術集中。各個紅隊成員會形成偏好，並在他們偏好的方法上越來越熟練。
如果沒有明確的跟蹤機制，一個團隊的覆蓋範圍會逐漸縮小到特定技術上，而總體測試量卻持續上升。關於人工紅隊的研究特別指出了在相同概念上反覆測試所帶來的風險。
類別失衡。易於探測的類別會比需要領域專業知識的類別更快積累示例。一個數據集可能規模龐大，卻在最具監管風險的領域上依然稀薄。
基準隨時間的汙染。任何一旦公開或被反覆用於對後來訓練於相似分佈的模型進行測試的數據集，都會逐漸喪失其作為測量工具的有效性。程序需要制定輪換策略，並保留一個從未公開的保留集。
針對上述三種問題，解決方法在任何標註項目中都是一致的：按類別、按技術、按語言分別測量覆蓋範圍，而不是簡單地按總量統計；當總量上升而各類別的覆蓋範圍保持不變時，應將其視為警示而非進展。
從事這項工作的人員
本節非常重要，但經常被方法論指南省略。
構建對抗性安全數據集意味著支付人員花費他們的工作日生成和閱讀旨在有害的內容。這是一項與圖像標註工作實質性不同的任務，並且存在一種心理風險，而標準標註流程並未考慮這一點。
監管環境正開始反映這一點。肯尼亞於2026年發佈的AI政策草案專門針對數據標註、內容審核和AI質量評估崗位，並提出必須提供心理社會支持，同時配套書面合同、薪酬透明度和申訴機制。
2026年在CHI會議上發表的學術研究記錄了在某些市場中該類勞動力的脆弱性。
對任何運營或委託此類工作的人員而言，其操作影響包括：
設定暴露上限並實施輪換制，而非持續分配到最令人困擾的類別中。
提供支持服務，而非僅提供指引。
在招募階段就明確了內容類型的知情同意，而非在第一天才被發現。
明確了幸福感的歸屬主體，因此是某個人的責任，而非大家的默認假設。
除了倫理層面，還有一個直接的可操作論點。紅隊測試的質量依賴於領域專業知識以及對模型行為的長期熟悉程度。持續的對抗性測試需要專門的專家團隊，而非一次性項目，因為團隊需要時間來學習系統行為、開發新穎攻擊方式並追蹤不斷演變的威脅。耗盡經驗豐富的紅隊成員，恰恰摧毀了該計劃所依賴的能力。
我們在這一框架中的位置
明確聲明我們的利益：Lifewood作為其AI數據服務的一部分，開展紅隊測試和安全評估工作，同時涵蓋50多種語言，並以人工參與閉環作為運營原則。
從這一視角出發，提出兩點觀察，僅作為觀察而非推銷方案。
第一點是，大多數委託紅隊測試的組織都要求大量內容，而最終收到的也是大量內容。真正困難且更有價值的是覆蓋範圍：涵蓋多少類別、多少技術手段、多少語言，每個單元的深度如何，以及哪些內容是故意排除的。一個無法提供覆蓋範圍矩陣的供應商，實際上只是在銷售提示詞數量。
第二點涉及語言問題，而這正是我們自身業務範圍的相關之處。要在基爾瓦希語或錫萊蒂語中產生真正有效的對抗性數據，需要母語者且具備文化理解力的紅隊成員，因為語言中有效的攻擊方式建立在該語言的表達習慣、迂迴方式和文化參照點之上。將英文攻擊提示翻譯成其他語言，所生成的內容實際上是在測試翻譯質量，而非語言本身。這在招聘和交付階段就已構成問題，而非僅僅是方法論問題，這也是我們選擇通過本地團隊而非中央團隊來開展此項工作的原因。
從何處開始
在查看任何數據集之前，先編寫分類體系，該體系應源自你的部署環境和風險評估。然後將其與現有分類體系進行對比，並明確指出你排除的內容及其原因。
構建一個你從未發佈的獨立數據集。這是唯一能夠倖存於模型在公開基準上訓練的工具。
明確追蹤技術多樣性，而不僅僅是提示詞的數量。
按類別、按技術、按語言分別報告覆蓋情況。聚合計數恰恰掩蓋了那些真正重要的差距。
對嚴重性進行分級，而非僅僅標記。修復優先級和可辯護的文檔記錄都需要嚴重性分級。
在你實際部署的每一種語言中進行測試，將每種語言視為一個獨立的程序，而非翻譯練習。
在招聘之前構建員工福祉框架，而不是在第一個員工遇到困難之後才構建。
以監管機構會閱讀的標準來記錄方法論，因為根據歐盟《人工智能法案》，這是可能的。
關鍵要點
- 2026年CHI研究發現，數據集創建的方法會影響從業者對風險的認知方式。
- 分類體系決定了什麼能夠被發現；凡是超出其範圍的內容是不可見的，而非缺失的。
- 歐盟《人工智能法案》於2026年8月全面實施。第55條要求對具有系統性風險的GPAI模型進行有記錄的對抗性測試，第9條要求實施全生命週期測試流程，處罰金額最高可達3500萬歐元或全球營業額的7%。
- 美國國家標準與技術研究院（NIST）人工智能風險管理框架（AI RMF）中的MEASURE功能正式確立了對抗性測試。
- 有三個決策會約束所有後續環節：採用何種分類體系、是自行構建、借用還是收集，以及自動化測試與人工測試之間的比例分配。
- 複用已建立的分類體系會繼承他人對‘危害’的定義。一個廣泛使用的數據集將人類樣情感反應標記為安全，從而完全將情感操控排除在測量範圍之外。
- 公開的對抗性數據集由於模型越來越傾向於通過這些數據集進行訓練，其可靠性已下降。一個位於訓練分佈內部的基準僅衡量記憶能力，而非安全性。
- 據報道，自動化框架發現漏洞的速率是人工測試的3.9倍，但自動化提供的是廣度，而人工紅隊成員則提供深度和新穎攻擊的發現能力。
- GPT-4o系統卡片報告了來自29個國家、45種語言的超過100名外部紅隊成員。Anthropic通過外部領域專家開展政策漏洞測試。
- 前沿實驗室將語言覆蓋範圍列為頭版指標，因為安全行為在不同語言之間無法泛化。
- 布朗大學的研究發現，將不安全提示翻譯成低資源語言時，大約80%的情況下會產生有害響應。2026年針對非洲語言的研究發現，翻譯攻擊如今大多失敗，但多輪對話仍以較高頻率成功。在79種語言上的評估發現，不安全響應率最高上升了25個百分點。
- 在任何語言中失效的護欄對所有用戶都是一個漏洞，因為翻譯是免費的。
- Anthropic在2022年發佈的38,961個紅隊攻擊，涵蓋20個類別，由於響應未標註，其實際效用有限。一個可用的記錄需要包含提示、響應、有害類別、嚴重程度、成功判斷、技術分類、語言和標註員歷史。
- 保守的標註傾向於謹慎，從而為防禦系統生成最可靠的訓練數據。
- 項目通過技術聚焦、類別失衡和基準汙染悄然陷入困境。
- 應按類別、技術及語言分別衡量覆蓋率，而非整體彙總。
- 肯尼亞2026年草案人工智能政策建議，對人工智能質量評估崗位必須實施心理社會支持。暴露限制、輪崗、提供的支持以及明確的福祉責任歸屬是操作性要求，而倦怠會破壞該計劃所依賴的累積專業知識。
資料與進一步閱讀
- "紅隊測試大語言模型作為社會技術實踐：從探索與數據創建到評估"，2026年CHI人機交互會議論文集，闡述三個關鍵階段以及數據創建方法如何影響風險概念化
- LXT，"LLM安全測試：一種五階段框架"，關於歐盟AI法案第55條和第9條，處罰等級，NIST AI RMF MEASURE函數，3.9倍自動化發現率以及保守的標註指導
- Kili Technology，"2026年大語言模型紅隊測試：前沿實驗室如何測試AI"，涉及GPT-4o和操作員系統卡紅隊測試者及語言數量、Ahmad等人的OpenAI公開方法、Anthropic的政策漏洞測試以及公開數據集的衰減
- "不回答：用於評估大語言模型安全機制的數據集"，arXiv，涵蓋Ganguli等人38,961個攻擊數據集以及未標註響應的侷限性，以及關於人類影響的分類學空白
- "AART：基於多樣化數據生成的AI輔助紅隊測試"，arXiv，涉及測試人員多樣性以及對同一概念重複測試帶來的風險
- Innodata，"模型安全、評估與紅隊測試解決方案"，涉及對抗性技術的結構化分類體系以及在不同互動中對技術多樣性的系統性跟蹤
- "阿爾巴尼亞大語言模型安全評估數據集"，arXiv，涵蓋Llama Guard、可定製的危害分類體系以及面向特定語言的安全數據集開發
- Lifewood，AI數據服務，包括紅隊測試、強化學習與人類參與閉環的質量保證
- 範圍說明：本文將紅隊測試作為數據運營與治理的一個學科來闡述。它刻意不描述攻擊技術，也不包含對抗性提示。本文引用的多語言安全發現源自布朗大學的低資源越獄研究，以及系列文章中早前討論的2026年評估結果。