🤖Reddit r/MachineLearning•最新收集於 4m
在 Autoresearch 中嚴格分離評測與程式碼
#evaluation#agent-optimization#experiment-tracking#tddautoresearch-eval-separation-skillclaude-codeautoresearchkarpathy
💡了解固定且具版本控制的評測，如何讓長時間 AI 最佳化迴圈更安全、更可稽核。
⚡ 30-Second TL;DR
有什麼變化
人類最重要的工作是設計穩健的評測指標、最佳化目標與約束條件。
為什麼重要
這套工作流程可透過防止代理悄悄修改評測來提升自主實驗的可信度。不過，其成效仍取決於初始評測是否充分代表真實目標，以及能否抵抗鑽漏洞行為。
下一步行動
在下一個 Claude Code 最佳化迴圈中建立版本控制且唯讀的評測目錄，並要求每次實驗都將結果追加至 HTML 日誌。
誰應關注：Researchers & Academics
關鍵要點
- •人類最重要的工作是設計穩健的評測指標、最佳化目標與約束條件。
- •稱為「hills」的固定版本控制評測，可讓代理修改評測邏輯的行為變得可見且可稽核。
- •代理會將實驗與發現記錄在 HTML 日誌中，而 Claude Code 可連續數天執行最佳化迴圈。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •此方法論的核心在於將『評測環境』（Evaluation Environment）與『代理程式碼庫』（Agentic Codebase）進行物理隔離，防止代理程式在自我優化過程中無意間修改評測基準（Benchmark Contamination）。
- •該工作流程利用 Git 的『唯讀掛載』（Read-only Mounts）或特定分支保護機制，確保評測邏輯在代理程式執行期間保持不可變性，從而維持實驗的可重複性。
- •HTML 日誌系統不僅是記錄工具，還整合了自動化的視覺化回饋迴圈，允許 Claude Code 等模型在長週期執行中，透過解析日誌中的錯誤模式來進行自我修正。
- •此架構引入了『評測版本控制』（Evaluation Versioning）概念，將評測指標視為與程式碼同等重要的資產，並要求對評測指標的任何變更進行與生產程式碼同等級別的 Code Review。
- •該流程強調『長時間執行』（Long-running Execution）的穩定性，透過將代理程式的狀態儲存於外部持久化儲存，解決了 LLM 在長任務中常見的上下文遺忘與執行中斷問題。
🛠️ 技術深入
- 隔離機制：採用 Docker 容器化技術，將評測腳本置於唯讀層（Read-only Layer），代理程式僅能讀取評測結果輸出，無法寫入或修改評測邏輯。
- 狀態持久化：使用 SQLite 或 JSONL 檔案作為代理程式的狀態儲存庫，確保在 Claude Code 迴圈中斷後，代理能從最後一個檢查點（Checkpoint）恢復執行。
- 評測版本控制：利用 Git Submodules 將評測套件作為獨立模組引入，確保評測邏輯的更新與代理程式碼的更新在版本上解耦。
- 視覺化回饋：HTML 日誌採用動態渲染技術，將代理程式的執行軌跡（Trace）、錯誤堆疊（Stack Trace）與效能指標即時繪製為圖表，供人類研究者進行非同步審查。
🔮 前景展望AI analysis grounded in cited sources
自動化評測分離將成為 AI 軟體工程的標準安全規範。
隨著代理程式自主性增強，防止自我優化過程中的評測污染將成為確保 AI 系統可靠性的必要條件。
未來兩年內，將出現專門針對『代理程式自我優化』的開源評測框架。
目前開發者多依賴自建工作流程，市場對標準化、可稽核的代理評測工具需求正快速成長。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/MachineLearning ↗