🤖Reddit r/MachineLearning•最新收集於 68m
衡量 AI 遞迴自我改進能力
#agent-harnesses#benchmarking#sandboxingharnessopt-benchharnessopt-benchopenaiclaude opus 5opencodehugging face
💡比較模型選擇與 harness 設計，並了解更安全的遞迴自我改進測試方法。
⚡ 30-Second TL;DR
有什麼變化
該基準測試將最佳化器與保留評估資料、API 金鑰、權限控制及預算執行機制隔離。
為什麼重要
研究結果顯示，改進底層模型可能比為模型量身打造原生 coding harness 更重要。該基準也提供一種實務模式，能在降低評估資料外洩與 sandbox 脫逃風險的同時研究自我改進。
下一步行動
複製 Scale AI 的 VeRO 儲存庫，重現一項 HarnessOpt-Bench 任務，並將保留評分機制與憑證置於最佳化器 sandbox 之外。
誰應關注：Researchers & Academics
關鍵要點
- •該基準測試將最佳化器與保留評估資料、API 金鑰、權限控制及預算執行機制隔離。
- •研究使用五個前沿模型、四項下游任務及 111 次執行，測試遞迴自我改進假說。
- •OpenCode 在 20 個模型—任務組合中有 11 組擊敗原生 harness，而模型選擇帶來的增益是 harness 選擇的 1.8 倍。
- •Claude Opus 5 搭配 OpenCode 在四項任務中贏得三項；在報告的版本時間線中，GPT 所達到的改進幅度由 3% 升至 49%。
🧠 深度解析
背景與延伸：來自公開資料，非原文內容。引用 7 個來源。
🔑 增強重點摘要
- •Anthropic 於 2026 年 6 月報告指出，透過 AI 輔助開發，其工程師每季交付的程式碼量已較 2021-2025 年間成長 8 倍。
- •截至 2026 年 5 月，Anthropic 內部程式碼庫中超過 80% 的合併程式碼是由 Claude 模型所撰寫。
- •OpenAI 於 2026 年 2 月認定 GPT-5.3-Codex 為首個在自身開發過程中發揮關鍵作用的模型，標誌著 AI 參與開發管線的里程碑。
- •遞迴自我改進（RSI）的定義在業界存在爭議，批評者如 Gary Marcus 指出，目前的進展多為「程式編寫加速」，而非真正的自主自我改進。
- •Google DeepMind 的 AlphaEvolve 透過 AI 發現了比 1969 年以來更快的矩陣乘法演算法，展示了 AI 在軟體開發以外的自我優化潛力。
🛠️ 技術深入
- 遞迴自我改進（RSI）機制：利用 AI 代理（Agent）在隔離環境中進行程式碼重構與優化，並透過自動化測試驗證效能增益。
- 隔離架構：HarnessOpt-Bench 採用沙盒機制，確保模型無法存取外部 API 金鑰、預算權限或保留測試集，以防止資料洩漏導致的評估偏差。
- 效能歸因分析：研究顯示模型架構對效能的影響力是優化器（Harness）選擇的 1.8 倍，顯示模型本身的推理與程式生成能力是遞迴改進的核心瓶頸。
- 整合開發流程：現代 AI 開發管線已將模型作為「隱形工廠」，負責處理從架構設計到程式碼合併的自動化循環。
🔮 前景展望AI analysis grounded in cited sources
AI 參與開發的比例將在 2027 年前突破 90%
基於 Anthropic 目前 80% 的程式碼貢獻率與開發速度的指數級增長趨勢，自動化程度將持續深化。
遞迴自我改進將面臨算力與訓練資料的邊際效應瓶頸
業界對於 AI 是否能持續突破效能天花板仍無共識，且模型改進自身可能受限於現有硬體架構與演算法的理論極限。
⏳ 時間線
2026-02
OpenAI 推出 GPT-5.3-Codex，標誌首個參與自身開發的模型誕生。
2026-05
Anthropic 內部程式碼庫中，由 AI 撰寫的程式碼佔比達到 80%。
2026-06
Anthropic 報告工程團隊程式碼交付效率較過去四年平均提升 8 倍。
📎 來源 (7)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/MachineLearning ↗
每週 AI 簡報
每週一封，可隨時退訂。