Anthropic proposes global slowdown of AI development

•Anthropic的提議不僅限於放緩開發，更呼籲建立類似核武軍備控制條約的全球協議，包含可驗證的機制，以確保美國和中國等主要AI實驗室和國家共同遵守。
•該公司內部數據顯示，截至2026年5月，Anthropic程式碼庫中超過80%的生產程式碼是由其AI模型Claude撰寫，這表明AI在加速自身開發方面的能力正迅速增長。
•Anthropic的最新預覽模型Claude Mythos（或稱Mythos Preview）展現了強大的網路安全能力，在推出數週內就在全球重要系統中發現了超過一萬個高危險和嚴重安全漏洞。
•此提議引發了業界爭議，部分批評者認為這可能是Anthropic的行銷策略，或以安全之名試圖阻礙競爭對手的發展。
•Anthropic並非首個呼籲暫停AI開發的組織；早在2023年3月，由伊隆·馬斯克等AI專家簽署的「未來生命研究所」（Future of Life Institute, FLI）公開信，就曾呼籲暫停訓練比GPT-4更強大的AI系統至少六個月。

遞迴式自我改進 (Recursive Self-Improvement, RSI)：Anthropic警告，AI系統正朝著無需人類大量干預即可自主優化和升級自身系統的方向發展，這可能導致「智慧爆炸」（Intelligence Explosion）。
憲法式AI (Constitutional AI, CAI)：Anthropic開發的一種AI對齊方法，旨在透過一套人類定義的原則（「憲法」）讓AI進行自我評估和自我修正，以減少有害輸出並保持有用性，從而降低對人類反饋的依賴。
Claude憲法 (Claude's Constitution)：作為憲法式AI的核心，這是一份指導Claude行為和價值觀的原則文件。2026年1月發布的修訂版明確將「廣泛安全性」和「廣泛倫理性」置於「Anthropic指南合規性」和「真實有用性」之前。
AI程式碼貢獻：截至2026年5月，Anthropic內部數據顯示，其程式碼庫中超過80%的生產程式碼已由Claude撰寫，這突顯了AI在自身開發流程中的日益增長的作用。
憲法分類器 (Constitutional Classifier)：Anthropic開發的一種防護措施，透過合成數據訓練，能有效阻止約95%的Claude「越獄」行為，防止模型執行有害指令。

全球AI開發可能面臨更嚴格的監管審查和國際合作呼籲。

Anthropic提出的全球協議和可驗證機制，類似於核武控制，凸顯了在地緣政治競爭下，對先進AI進行協調治理的壓力日益增加。

關於AI安全和生存風險的辯論將會加劇，可能影響公眾認知和AI領域的投資方向。

一家領先的AI實驗室公開警告「遞迴式自我改進」和潛在的失控風險，即使存在一些懷疑，也將這些高風險問題推向公眾視野，可能促使業界更注重安全優先的開發而非快速商業化。

AI模型將越來越多地參與自身的開發和優化過程。

Anthropic內部數據顯示Claude撰寫了超過80%的生產程式碼，這表明AI系統在自身創建和改進中承擔更多責任的趨勢日益明顯，加速了開發週期。

2021-02

Anthropic由前OpenAI員工創立並註冊成立

2021-04

Anthropic正式成立為一家公共利益公司，專注於AI安全研究

2022-12

Anthropic發表關於「憲法式AI」的研究論文

2023-03

Anthropic正式發布其AI模型Claude的第一個版本

2026-01

Anthropic發布修訂版「Claude憲法」，將廣泛安全性和倫理性置於有用性之上

2026-06

Anthropic發布文章，警告AI「遞迴式自我改進」的風險，並呼籲全球放緩AI開發進度

Anthropic 提議全球放緩 AI 開發進度