IH-Challenge：提升LLM指令層級的訓練資料集

#jailbreak-defense#rlhfih-challengeopenaigpt-5-minihuggingface

💡資料集提升 LLM 越獄防禦 10%；立即下載建構更安全模型。（38字）

⚡ 30-Second TL;DR

有什麼變化

推出 IH-Challenge 強化學習資料集，用於訓練穩健指令層級

為什麼重要

透過可靠解決指令衝突，提升 LLM 安全性，對代理系統至關重要。讓從業人員能建構更安全的模型，防禦如越獄等複雜攻擊。

下一步行動

從 Hugging Face 下載 IH-Challenge，並微調你的 LLM 以提升 IH 穩健性。

誰應關注：Researchers & Academics

背景與延伸：來自公開資料，非原文內容。引用 8 個來源。

•IH-Challenge 資料集圍繞三項指導原則建構：IF-simple（指令遵循簡單）、針對 IH 衝突挑戰性，並維持程式化可評分以利 RL 訓練。[1]
•資料集建構分兩階段：離線建立任務骨架（含高優先指令），再產生對抗性對話與評分器代碼。[1]
•訓練強調 OOD 泛化，儘管任務多樣性受限於程式化評分，RL 微調後在未見資料集（如 Gandalf Password 和 TensorTrust）上展現顯著穩健性提升。[1]

•資料集針對解決指令層級（IH）衝突設計，涵蓋越獄攻擊、系統提示提取及代理提示注入等情境。[1]
•建構流程：離線生成任務骨架（高優先指令與低優先誘導），後續產生對抗性對話，確保評分器有效性。[1]
•使用線上對抗範例生成進行 RL 微調，提升在 16 項基準（含 ID、OOD 及人類紅隊測試）的 IH 穩健性，從 84.1% 升至 94.1%。[1][3]

IH-Challenge 將成為 RLHF 訓練標準基準，提升 LLM 對提示攻擊的產業防禦水準

資料集公開釋出並證實在多基準上泛化效果，有助後續研究擴大應用於邊緣 LLM 安全訓練。[1][3]

RL 微調 IH 將降低過度拒絕捷徑，改善 LLM 幫助性與安全性平衡

實驗顯示不安全行為降至 0.7% 同時提升一般安全評估幫助性，無顯著能力退化。[1]

2026-03

OpenAI 發佈 IH-Challenge 論文與資料集於 arXiv 和 Hugging Face

Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.

AI 週報

閱讀本週精選 AI 大事摘要 →

同主題

探索 #jailbreak-defense

同產品

更多關於 ih-challenge

同來源

最新來自 ArXiv AI

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗

這是摘要，不是原文。去看原站，或訂閱每週簡報。

每週 AI 簡報

每週一封，可隨時退訂。