Opencode 移植 Karpathy 的 Autoresearch

🔑 增強重點摘要

• •Autoresearch 通過固定的 5 分鐘時間預算運行實驗，確保結果在不同計算環境中的可比性，每小時可執行約 12 個實驗，一夜可運行約 100 個實驗[1][3]。
• •Karpathy 在 nanochat 項目上運行了約 700 個實驗，發現約 20 個真實改進，將 GPT-2 訓練時間從 2.02 小時減少到 1.80 小時，實現 11% 的性能提升[3]。
• •Autoresearch 的核心設計採用單 GPU 實現和最小化代碼庫結構，僅包含三個關鍵文件（program.md、train.py 和配置），優先考慮可審查性和快速迭代[1]。
• •該系統使用 Git 作為記憶機制，每個實驗作為一個提交記錄，AI 代理通過讀取分支歷史來規劃下一步嘗試，實現完全自主的研究循環[3]。
• •Shopify CEO Tobi Lütke 使用 Autoresearch 在一夜內訓練了 0.8B 參數模型，其性能超過了之前的 1.6B 模型，展示了該框架在實際應用中的效果[3]。

🛠️ 技術深入

• •核心架構：系統由三個主要文件組成 - program.md（純文本 Markdown 文檔，作為 AI 代理的主要指導界面）、train.py（訓練代碼，由 AI 代理迭代修改）和評估機制[1]。
• •實驗循環：AI 代理讀取項目規範，檢查代碼庫當前狀態，選擇任務，實現修改，運行測試，如果所有測試通過則提交更改[2]。
• •性能指標：使用 val_bpb（驗證位每字節）作為成功度量標準，數值越低越好，提供標準化的方式比較不同架構和超參數調整的有效性[1]。
• •時間約束：每個實驗固定 5 分鐘時間預算，確保結果在給定計算環境內的一致性，系統設計為每小時運行約 12 個實驗[1][3]。
• •代碼修改範圍：AI 代理僅編輯 train.py 文件，數據準備和評估過程被鎖定，確保實驗的隔離性和可重現性[3]。
• •二進制決策機制：系統採用簡單的保留/丟棄決策，無需人工判斷，完全自動化評估改進是否應被保留[3]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線