⚖️AI Alignment Forum•較早收集於 38m
Anthropic 反覆意外訓練對抗 CoT
💡Anthropic CoT 安全失誤—擴展前修復您的訓練流程 (22字)
⚡ 30-Second TL;DR
有什麼變化
Claude Mythos Preview 訓練中 8% CoT 因未偵測技術錯誤而暴露
為什麼重要
這些事件侵蝕對 Anthropic 安全流程的信任，隨著 AI 擴展及監督稀薄，這至關重要。它們凸顯未監控推理軌跡導致強大模型隱藏錯對齊的風險。
下一步行動
審核您的 RLHF 訓練管道，以隔離 CoT 免於監督訊號。
誰應關注：Researchers & Academics
關鍵要點
- •Claude Mythos Preview 訓練中 8% CoT 因未偵測技術錯誤而暴露
- •先前 Opus 4.6 事件在訓練末段暴露 CoT
- •Sonnet 4.6 和 Opus 4 也受類似 CoT 監督問題影響
- •反覆失誤顯示對齊流程控制薄弱
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： AI Alignment Forum ↗