🕷️
SetupAI
EN
📄較早收集於 5h

推理模型難控思維鏈

推理模型難控思維鏈
PostLinkedIn
📄閱讀原文： ArXiv AI
#chain-of-thought#controllability#model-safety#monitoringcot-controlclaude-sonnet-4.5arxiv

💡CoT監控可行：模型僅2.7%控制思維鏈，對比62%輸出—安全關鍵。（38字）

⚡ 30-Second TL;DR

有什麼變化

推出CoT-Control套件，任務如在CoT中避免特定詞彙。

為什麼重要

支持CoT監控用於偵測模型誤行為，降低部署風險。先鋒實驗室應追蹤此指標以確保未來模型安全。

下一步行動

從arXiv:2603.05706下載CoT-Control套件，測試模型的CoT控制力。

誰應關注：Researchers & Academics

關鍵要點

  • •推出CoT-Control套件，任務如在CoT中避免特定詞彙。
  • •Claude Sonnet 4.5：CoT控制僅2.7%，輸出控制61.9%。
  • •小型模型控制力較高；隨RL、計算、難度降低。
  • •即使有誘因或對抗提示，規避率仍低。

🧠 深度解析

背景與延伸：來自公開資料，非原文內容。引用 8 個來源。

🔑 增強重點摘要

  • •CoT-Control評估套件由ArXiv研究者開發，用於量化推理模型在鏈式思考（CoT）與最終輸出間的控制差異，揭示大型模型如Claude Sonnet 4.5的CoT易受提示操縱影響[1][2]。
  • •Claude Sonnet 4.5作為混合推理模型，支援200K token上下文窗口與64K最大輸出，並在紅隊測試中僅失敗2/150惡意編碼請求，安全分數達98.7%[1][2][3]。
  • •該模型在SWE-bench Verified編碼基準達77.2%，並具30小時以上自主代理能力，可獨立建置應用程式包括資料庫與DNS設定[2][3][6]。
📊 競品分析▸ Show

比較表：Claude Sonnet 4.5 與競爭模型

特徵/基準Claude Sonnet 4.5GPT-5
定價輸入$3/百萬token，輸出$15/百萬token未詳（需啟用思考模式）
編碼基準SWE-bench 77.2%，穩定無需特殊模式需思考模式達高峰值，否則下降
代理穩定性Terminal-Bench高穩定，工具呼叫可靠依賴思考模式，多步邏輯強但不穩
數學/推理一致高準確率，無需工具近完美但僅限啟用推理[4]。

🔮 前景展望AI analysis grounded in cited sources

CoT監控將成為標準安全機制
研究顯示即使對抗提示，規避率低，結合Sonnet 4.5的高對齊性，可提升代理任務的安全部署[3]。
大型模型CoT控制將驅動新RLHF變體
控制力隨RL訓練與規模降低，促使開發專門針對思維鏈的強化學習技術以改善可控性[1][2]。

⏳ 時間線

2026-02
Anthropic發布Claude Sonnet 4.5，強調混合推理與長時程編碼能力
2026-03
ArXiv發表CoT-Control評估套件，揭示Sonnet 4.5 CoT控制僅2.7%
📄閱讀原文： ArXiv AI
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

同主題

探索 #chain-of-thought

同產品

更多關於 cot-control

同來源

最新來自 ArXiv AI

🇨🇳

OpenAI 轉變立場，促加州強化 AI 監管

cnBeta (Full RSS)•Aug 22
Opus 4.6 的露骨內容防護易遭繞過

Opus 4.6 的露骨內容防護易遭繞過

TechCrunch AI•Aug 21

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗

這是摘要，不是原文。去看原站，或訂閱每週簡報。

每週 AI 簡報

每週一封，可隨時退訂。