🤗Hugging Face Blog•較早收集於 18m
Hugging Face 推出 Open Agent Leaderboard
💡自主 AI 代理的全新行業基準測試標準正式登場。
⚡ 30-Second TL;DR
有什麼變化
針對自主 AI 代理的標準化評估框架
為什麼重要
此排行榜有望成為比較代理能力的行業標準，協助開發者為其特定應用場景選擇合適的框架。
下一步行動
前往 Hugging Face Open Agent Leaderboard 查看當前表現最佳的代理，並評估您自己的代理實作表現。
誰應關注：Researchers & Academics
關鍵要點
- •針對自主 AI 代理的標準化評估框架
- •專注於代理性能與可靠性的基準測試
- •推動快速發展的 AI 代理生態系統之透明度
🧠 深度解析
Web-grounded analysis with 18 cited sources.
🔑 增強重點摘要
- •Hugging Face 的 Open Agent Leaderboard 旨在評估 AI 代理在多步驟推理、工具使用和動態環境中自主決策的能力，超越了單一輸出檢查的傳統評估方式。
- •該排行榜透過模擬真實世界的商業情境來評估代理，涵蓋銀行、醫療保健、電信和保險等多個領域，並採用工具選擇品質 (TSQ) 和行動完成度 (AC) 等關鍵指標。
- •平台秉持開源原則，公開提供評估數據集、評分公式和程式碼，以確保結果的可重現性和社群驗證，促進了 AI 代理研究的透明度。
- •除了性能表現，該排行榜還將代理的成本效益納入考量，為實際部署提供性能與成本之間的權衡洞察。
- •Open Agent Leaderboard 致力於評估「通用代理」的能力，這些代理無需針對特定領域進行手動調整或訓練，即可適應不熟悉的環境並執行多樣化任務。
📊 競品分析▸ Show
| 平台/工具 | 特點 | 評測基準 | 定價模式 |
|---|---|---|---|
| Hugging Face Open Agent Leaderboard | 公開、開源的代理評估平台，專注於通用代理，涵蓋多領域真實商業情境，強調透明度與成本效益。 | 工具選擇品質 (TSQ)、行動完成度 (AC)、多步驟推理、工具使用、成本。 | 未公開 (作為開源平台的一部分) |
| MLflow | 廣泛採用的開源 AI 工程平台，提供全面的指標覆蓋，支援基於規則和 LLM 判斷的自訂指標，整合人類回饋，評估完整的執行軌跡。 | 廣泛的內建指標，支援自訂規則和 LLM 判斷指標，評估完整執行軌跡。 | 開源/企業版 (未公開) |
| DeepEval | 開源 LLM 評估框架，提供 Pytest 風格的測試體驗，包含 50 多種研究支持的指標，易於整合到 CI/CD 工作流程，涵蓋代理、聊天機器人、RAG 和安全評估。 | 50+ 研究支持的指標，涵蓋代理、聊天機器人、RAG、單輪、多輪和安全評估。 | 開源/商業平台 (Confident AI) (未公開) |
| Arize Phoenix | 開源可觀測性與評估平台，結合分散式追蹤和 50 多種內建評估指標，支援基於 LLM 的評估器、程式碼檢查和人工標籤。 | 50+ 內建評估指標，支援 LLM 評估器、程式碼檢查、人工標籤。 | 開源/企業版 (未公開) |
| LangSmith (LangChain) | LLM 和 AI 代理評估平台，提供離線和線上評估，支援人類回饋和提示優化，捕捉完整的代理執行軌跡，可整合到 CI/CD。 | 離線與線上評估，人類回饋，捕捉完整的代理執行軌跡，評估中間決策和代理行為。 | 商業服務 (未公開) |
🛠️ 技術深入
- 評估方法論：透過情境模擬進行評估，利用「使用者模擬器」和「工具模擬器」來模仿真實世界的商業情境，測試代理在複雜、多步驟任務中的表現。
- 核心評估指標：主要採用「工具選擇品質 (Tool Selection Quality, TSQ)」和「行動完成度 (Action Completion, AC)」來衡量代理的性能。TSQ 評估工具選擇的準確性和參數使用的有效性，而 AC 則衡量代理完成任務的整體能力。
- LLM 作為評審 (LLM-as-a-Judge)：在 TSQ 評估中，使用 GPT-4o 結合 ChainPoll 技術作為評審模型，對代理的工具選擇決策進行評估，並收集多個獨立判斷以確保可靠性。
- 基準測試數據集：評估框架整合了來自 BFCL (Berkeley Function Calling Leaderboard)、τ-bench (Tau benchmark)、xLAM 和 ToolACE 等多個已建立的基準測試數據集，涵蓋了從基本函數呼叫到複雜多輪互動的廣泛代理能力。
- 代理框架整合：Hugging Face 的
smolagents框架被用於建構和檢測 AI 代理，並與 OpenTelemetry 導出器整合，以監控代理的內部步驟（追蹤）、成本和延遲等性能指標。 - 工作流程編排：針對
om-ai-lab/open-agent-leaderboard，其核心是一個基於圖的編排引擎 (AGORA)，旨在提供模組化和可擴展性，支援 IO、CoT、SC-CoT、PoT、ReAct、ToT 等多種代理演算法。
🔮 前景展望AI analysis grounded in cited sources
Open Agent Leaderboard 將加速 AI 代理的開發，使其更具魯棒性、成本效益和通用性。
透過標準化和透明的基準測試，開發者可以更有效地識別代理的優缺點，並針對實際應用需求進行優化，從而推動技術進步。
該平台將促進 AI 代理研究的更高透明度和可重現性。
公開提供數據集、評分方法和程式碼，將鼓勵社群協作，減少結果偏差，並建立更可靠的評估標準。
Open Agent Leaderboard 有望加速 AI 代理在企業環境中的採用。
透過提供跨行業的可靠性能基準和成本效益分析，企業將能更有信心地選擇和部署適合其特定業務需求的 AI 代理解決方案。
⏳ 時間線
2024-10
Hugging Face 推出 Open LLM Leaderboard v2，展示其在模型基準測試方面的持續投入。
2025-01
om-ai-lab 在 Hugging Face 上發布 Open Agent Leaderboard，旨在公平比較不同代理的性能。
2025-01
Hugging Face 介紹 smolagents 框架，提供工具、教學和概念指南，以支援 AI 代理的開發。
2025-02
Galileo AI 在 Hugging Face 上推出其代理排行榜，評估 17 個領先的 LLM 在 14 個基準測試中的表現。
2025-07
Hugging Face 推出 Agent Leaderboard v2，專注於跨銀行、醫療保健、電信等五個行業的企業級代理基準測試。
2026-02
Open Agent Leaderboard 的結果數據集持續更新，包含 AppWorld、BrowseComp+、SWE-bench 等多樣化基準測試。
📎 來源 (18)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Hugging Face Blog ↗