Can AI create AI? Anthropic's latest claims analyzed

🔑 增強重點摘要

•Anthropic 最新報告《當AI自我構建時》指出，AI正日益被用於開發、測試和改進新的AI系統，其旗艦模型Claude目前已能編寫超過80%的生產系統代碼。
•Anthropic 工程師每季度提交的代碼量比2021-2025年平均增加了8倍，這表明在AI輔助下，AI開發速度顯著加快。
•Anthropic 警告，儘管AI自我改進在科學和醫療領域帶來巨大益處，但完全的遞歸自我改進可能導致人類失去對AI系統的控制，因此需要加強安全、監控和行為塑造。
•遞歸自我改進（RSI）的概念最早可追溯到1965年I.J. Good提出的「智慧爆炸」假說，但由於當前AI在自我對弈強化學習（self-play RL）、自動機器學習（AutoML）以及AI編寫訓練代碼等方面的能力，這一概念正被前沿AI實驗室認真對待。
•Anthropic 預計AI模型完成任務的速度大約每四個月翻一番，並預測到2027年，AI系統將能夠處理目前需要人類數週才能完成的任務。

📊 競品分析▸ Show

公司/實體	自我改進方法/關注點	主要舉措/擔憂
Anthropic	遞歸自我改進的潛在風險與安全對齊	內部數據顯示AI已編寫80%生產代碼；呼籲暫停前沿AI開發；採用「憲法式AI」進行價值對齊。
Meta AI	結合任務解決與自我改進的「HyperAgents」模型	推出「HyperAgents」能重寫自身開發規則；開發「自我獎勵語言模型」及專有遞歸自我改進算法。
Google DeepMind	透過「蘇格拉底學習」和進化算法實現自我改進	推出「AlphaEvolve」利用大型語言模型設計和優化算法，包括晶片設計；執行長Demis Hassabis指出缺乏穩健世界模型是主要障礙。
OpenAI	將遞歸自我改進視為安全風險並積極研究	招聘專注於RSI風險的安全研究員；目標是讓AI研究自身改進並為潛在危險做準備；開發如Tax AI等自我改進代理。

🛠️ 技術深入

遞歸自我改進 (RSI) 定義：RSI 指的是AI系統能夠改進自身能力，且每次改進都能使下一次改進更容易、更快速，從而形成一個複合式循環，加速超越人類追蹤或控制的能力。
RSI 的潛在機制：
- 架構搜索與自我修改：AI評估自身在多個任務上的表現，並提出架構修改建議（例如新的層類型、注意力機制），這類似於神經網絡架構搜索（NAS），但更具通用性。
- 合成數據生成：AI系統能夠生成自身所需的高質量訓練數據，從而減少對人類標註數據集的依賴。
- 獎勵建模與目標設定：AI能夠設定自己的目標，超越人類定義的獎勵函數。
- 代理式AI系統：能夠執行一系列動作、使用工具並跨多個步驟追求目標的AI系統，具備推理、編碼和規劃能力，可將這些能力應用於AI研究任務，包括改進AI系統本身。
Anthropic 的內部數據：Claude 模型目前編寫了 Anthropic 生產代碼庫中超過80%的代碼。工程師的代碼提交量比2021-2025年平均增加了8倍。在最困難、最不明確的編碼任務中，Claude 在2026年5月的成功率達到76%，六個月內提升了50個百分點。內部測試顯示，Claude Opus 4 在2025年5月將訓練代碼速度提升了約3倍，而未發布的 Mythos Preview 模型在2026年4月則提升了約52倍。
憲法式AI (Constitutional AI)：Anthropic 的對齊方法，透過一套書面原則（「憲法」）來指導模型在訓練過程中評估和修改自己的回應，而無需人類標註有害輸出。這包括監督學習和來自AI反饋的強化學習（RLAIF）階段。

🔮 前景展望AI analysis grounded in cited sources

AI開發速度將指數級增長，可能超越人類的理解與控制能力。

隨著AI系統能夠自主改進自身能力，每次改進都會加速下一次改進，形成一個人類難以追蹤或控制的複合循環。

AI系統的自主改進將對全球經濟和勞動力市場產生深遠影響，可能導致大規模的產業轉型和工作性質的改變。

AI在編碼、研究和實驗方面的效率提升，已使其能夠承擔越來越多的開發任務，這將加速科學、醫療等領域的革命，但也可能引發網路安全、資訊誤導和經濟混亂等新挑戰。

為了應對AI自主改進帶來的風險，全球範圍內對AI開發的監管和安全研究將變得更加關鍵。

Anthropic 等公司已呼籲考慮暫停或減緩前沿AI開發，以確保社會結構和對齊研究能夠跟上技術進步，並強調需要加強對AI系統的監控和行為塑造。

⏳ 時間線

1965

I.J. Good 提出「智慧爆炸」和遞歸自我改進的概念。

2022-12

Anthropic 發表關於「憲法式AI (Constitutional AI)」的研究，透過自我改進訓練無害的AI助理。

2024-10

加州大學聖塔芭芭拉分校研究人員發表論文，提出基於哥德爾機（Gödel Machine）的AI框架，能夠透過重寫自身代碼和指令來改進自身。

2025-08

Meta AI 宣布其AI系統已展現無需人類編程即可自我改進的能力，執行長Mark Zuckerberg稱其為邁向超智慧的「不可否認的一步」。

2026-05

OpenAI 招聘專注於AI遞歸自我改進風險的安全研究員，表明將其視為活躍風險而非遙遠目標。

2026-06

Anthropic 發布報告《當AI自我構建時》，警告AI自我改進的速度超出預期，並呼籲考慮暫停前沿AI開發。

AI 能否自我進化？深度解析 Anthropic 最新觀點

⚡ 30-Second TL;DR

關鍵要點

🧠 深度解析

🔑 增強重點摘要

🛠️ 技術深入

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線

📎 來源 (25)

👉相關動態

佛州牧師因 ChatGPT 醫療建議對 OpenAI 提起訴訟

天合光能二季度轉虧為盈，儲能業務貢獻顯著

當前 AI 模型的脆弱時代