📄ArXiv AI•最新收集於 7h
全新基準測試評估 AI 代理在長程終端任務的表現
#benchmarking#ai-agents#long-context#evaluationlong-horizon-terminal-benchlong-horizon-terminal-benchterminal-bench
💡了解為何當前頂尖模型在處理長達數小時的終端任務時表現不佳，以及如何優化代理的規劃能力。
⚡ 30-Second TL;DR
有什麼變化
涵蓋軟體工程與科學計算等九大領域，共 46 項長程任務。
為什麼重要
此基準測試凸顯了目前頂尖模型在處理複雜、長達數小時工作流程時的侷限性，預示著評估重點將轉向迭代推理與長文本處理的可靠性。
下一步行動
檢視您的 AI 代理在長文本管理上的策略，並實作中間檢查點機制，以提升在多步驟、長程任務中的表現。
誰應關注：Researchers & Academics
關鍵要點
- •涵蓋軟體工程與科學計算等九大領域，共 46 項長程任務。
- •採用密集的中間獎勵機制，評估代理在任務過程中的部分進展，而非僅看最終結果。
- •研究顯示頂尖模型仍有巨大進步空間，平均通過率僅在 1.7% 至 4.3% 之間。
- •任務極具挑戰性，平均每個執行過程需消耗 990 萬個 Token 並耗時 85 分鐘。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Long-Horizon-Terminal-Bench (LHTBench) 專門針對終端環境（Terminal Environment）設計，強調代理在真實 Linux 系統操作中的持久性與狀態管理能力。
- •該基準測試引入了動態環境重置機制，確保代理在處理長程任務時，不會因為環境污染或歷史指令干擾而產生評估偏差。
- •研究團隊發現，當前主流大語言模型在處理長程任務時，常因『上下文視窗遺忘』或『規劃漂移』導致任務中斷，而非單純的邏輯錯誤。
- •LHTBench 的評估框架特別納入了『除錯效率』指標，衡量代理在遇到編譯錯誤或執行失敗時，自我修正路徑的長度與成功率。
- •該基準測試的資料集包含大量隱含依賴關係的任務，要求代理具備跨檔案、跨目錄的系統級檔案操作能力，這與傳統僅限於單一程式碼檔案的評估有顯著差異。
📊 競品分析▸ Show
| 基準測試名稱 | 核心評估領域 | 評估機制 | 適用場景 |
|---|---|---|---|
| SWE-bench | 軟體工程 | GitHub Issue 解決率 | 軟體維護與修復 |
| AgentBench | 通用代理能力 | 多環境模擬 (OS, DB, Web) | 綜合代理能力 |
| LHTBench | 長程終端任務 | 密集中間獎勵與終端操作 | 複雜系統級自動化 |
| InterCode | 程式碼互動 | 互動式環境執行 | 程式碼執行與除錯 |
🛠️ 技術深入
- 執行環境：基於 Docker 容器化的隔離 Linux 終端，確保任務的可重複性與安全性。
- 獎勵函數設計：採用基於狀態變更（State-based）的獎勵機制，透過檢查檔案系統快照與終端輸出流來計算進度。
- 代理互動協議：支援標準 Shell 指令集，並強制要求代理在執行高風險操作前進行確認。
- 評估指標：引入『任務完成度百分比』與『平均除錯步數』，用以量化代理在長程規劃中的穩定性。
🔮 前景展望AI analysis grounded in cited sources
AI 代理開發將從『單次生成』轉向『長期狀態維護』。
LHTBench 的低通過率顯示，現有模型缺乏在長時間跨度內維持系統狀態一致性的能力，將迫使架構轉向記憶體增強與狀態追蹤。
終端操作能力將成為衡量通用人工智慧（AGI）的關鍵指標。
能夠在真實終端環境中自主除錯與執行任務，代表代理已具備與現代計算基礎設施直接互動的實質能力。
⏳ 時間線
2026-03
Long-Horizon-Terminal-Bench 專案啟動，定義長程終端任務評估標準。
2026-06
發布初步測試結果，揭露頂尖模型在長程任務中的低通過率瓶頸。
2026-07
正式於 ArXiv 發布研究論文與開源評估框架。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗