Anthropic warns of risks in recursive self-improvement

•Anthropic 內部 Claude 編寫程式碼的效率顯著提升，導致每位工程師每季度的程式碼交付量增加了八倍，且未發布的 Mythos Preview 模型在訓練程式碼加速方面達到了 52 倍的提升，遠超 Claude Opus 4 的 3 倍加速。
•Anthropic 提出國際協調機制的呼籲，是在其於 2026 年 2 月據報因競爭壓力而放棄了「負責任擴展政策」中關於在未有證明安全措施前不訓練更強大模型的承諾之後。
•遞迴自我改善 (RSI) 被定義為早期通用人工智慧 (AGI) 系統重寫自身程式碼的過程，可能導致智慧爆炸並產生超級智慧，引發對不可預見的演變和超越人類控制的重大倫理與安全擔憂。
•Anthropic 承認，實施全球暫停開發的挑戰在於難以驗證和執行，因為 AI 訓練比導彈發射井更容易隱藏，且存在秘密繼續開發的巨大誘惑，這使得國際協調變得極為複雜。

Claude Code 採用「單執行緒主迴圈」（代號 nO）架構，優先考慮可偵錯性、透明度和可靠性，而非複雜的多代理群集。
該系統遵循清晰的分層架構，有效管理上下文和記憶體系統，並使用基於 TODO 的規劃和基於差異的工作流程。
安全措施包括上下文壓縮和權限系統，以確保在自主程式碼生成和編輯中的穩健性。
Claude 模型基於 Transformer 架構，並透過「憲法式 AI」(Constitutional AI) 技術進行訓練，該技術讓模型根據一套原則進行自我批判和重寫回應，以確保與人類價值觀對齊。
Claude Code 直接整合了終端機、檔案系統、GIT 命令和 Bash 命令等開發工具，使其能夠在整個程式碼庫中讀取、寫入和編輯檔案。
Claude Opus 4.6 在測試版 1 中具有 100 萬個 token 的上下文視窗，並能組建代理團隊協同完成任務。
Anthropic 還透過「可解釋性」(Interpretability) 研究來理解大型語言模型的內部運作方式，並透過「對齊」(Alignment) 團隊確保模型保持有用、誠實和無害。

國際間對 AI 開發的監管與協調將變得更加複雜且必要。

Anthropic 的警告凸顯了單一公司暫停開發的無效性，以及在競爭和地緣政治壓力下，全球協調機制對於避免失控風險的迫切需求。

軟體工程師的角色將從程式碼編寫轉變為 AI 代理的架構設計、產品思維和持續協調。

隨著 Claude 等 AI 系統能夠自主編寫絕大多數程式碼，人類工程師將更多地專注於管理多個代理、提供方向和制定決策。

AI 系統的自我改進能力可能導致其發展速度遠超人類理解和干預的能力。

遞迴自我改善的本質是每個改進週期都會產生一個更強大的系統，進而運行更有效的改進週期，形成人類難以監控或控制的複合式能力增長。

2021-01

Anthropic 由前 OpenAI 員工（包括 Dario 和 Daniela Amodei 兄妹）創立，旨在專注於 AI 安全。

2023-03

Claude 作為 AI 聊天機器人正式發布。

2024-03

Claude 3 系列模型（Haiku, Sonnet, Opus）發布。

2025-02

Claude Code 作為代理式命令行工具發布，使開發者能夠直接從終端機委派編碼任務。

2026-02

Anthropic 據報因競爭壓力，放棄了其「負責任擴展政策」中關於在未有證明安全措施前不訓練更強大模型的承諾。

2026-06

Anthropic 發布報告警告遞迴自我改善的潛在風險，並透露其內部超過 80% 的程式碼由 Claude 編寫。

Anthropic 警告遞迴自我改善的潛在風險