🟩NVIDIA Developer Blog•較早收集於 18m
NVIDIA 在全新 Agentic AI 編碼基準測試中取得領先
💡首個 AI Agent 編碼效能標準化基準測試；看看 NVIDIA 在真實任務中的表現如何。
⚡ 30-Second TL;DR
有什麼變化
AA-AgentPerf 是首個針對 AI Agent 編碼軌跡的多供應商開放基準測試。
為什麼重要
此基準測試為評估 Agentic 系統設定了新標準，超越了簡單的靜態模型測試。這可能會迫使其他 AI 提供商優化其 Agentic 工作流程，以在標準化效能排名中保持競爭力。
下一步行動
檢視 AA-AgentPerf 的評測方法，以了解您的 Agentic 工作流程與業界標準編碼基準測試的比較結果。
誰應關注：Researchers & Academics
關鍵要點
- •AA-AgentPerf 是首個針對 AI Agent 編碼軌跡的多供應商開放基準測試。
- •NVIDIA 在此新標準下展示了處理複雜推理工作負載的領先效能。
- •該基準測試解決了業界對於 Agentic AI 效能評估標準化的需求。
🧠 深度解析
Web-grounded analysis with 16 cited sources.
🔑 增強重點摘要
- •AA-AgentPerf 是一個硬體基準測試，旨在衡量在真實代理工作負載下，推論部署能支援多少活躍使用者，並著重於使用者體驗效能目標，例如首個代幣時間 (TTFT) 和輸出速度。
- •該基準測試採用真實的代理軌跡，這些軌跡是多輪編碼會話，包含交錯的推理、工具呼叫和可變的上下文長度（從約 1K 到 131K 個代幣），並在持續的併發負載下測試 KV 快取重用、推測解碼和排程器行為。
- •NVIDIA 的 Blackwell 架構，特別是 GB200 和 Blackwell Ultra GB300 NVL72 機架級系統，在 AgentPerf 基準測試中展現了顯著的效率提升，相較於前一代 Hopper 架構，每兆瓦可處理的代理數量增加了高達 20 倍。
- •AA-AgentPerf 是 Artificial Analysis 廣泛基準測試套件的一部分，該套件還包括 Artificial Analysis 編碼代理指數（由 DeepSWE、Terminal-Bench v2 和 SWE-Atlas-QnA 組成的綜合評分）以及其他模型智慧和效能評估。
- •NVIDIA 透過其全面的開放代理開發平台支援代理式 AI 的發展，該平台包含 NVIDIA Agent Toolkit、Nemotron 模型（例如 5000 億參數的 Nemotron 3 Ultra）、用於安全性的 OpenShell 運行時，以及 NemoClaw 編排框架。
📊 競品分析▸ Show
| 類別 | 產品/平台 | 基準測試 | 效能指標 | 備註 |
|---|---|---|---|---|
| 硬體效能 | NVIDIA Blackwell | AA-AgentPerf | 每兆瓦代理數提升 20 倍 | 相較於 NVIDIA Hopper 架構的顯著效率提升 |
| NVIDIA Hopper | AA-AgentPerf | - | 前一代架構 | |
| 代理+模型效能 | OpenAI Codex CLI + GPT-5.5 | Terminal-Bench 2.1 | 83.4% 任務完成率 | 在 Terminal-Bench 2.1 公開排行榜上排名第一 |
| Claude Code + Opus 4.8 | Terminal-Bench 2.1 | 78.9% 任務完成率 | 在 Terminal-Bench 2.1 公開排行榜上排名第二 | |
| Gemini CLI + Gemini 3.1 Pro | Terminal-Bench 2.1 | 70.7% 任務完成率 | 在 Terminal-Bench 2.1 公開排行榜上排名第五 | |
| OpenCode (MIT) | Terminal-Bench 2.1 | - | 最受歡迎的開源代理，支援多種模型 | |
| Claude Opus 4.5 | Snorkel Agentic Coding | 58% 成功率 | 在 Snorkel Agentic Coding 基準測試中表現領先 | |
| Claude Sonnet 4.6 | A-CODE-LLM Bench | 0.748 總體分數 | 在 A-CODE-LLM Bench 中領先 |
🛠️ 技術深入
- AA-AgentPerf 基準測試方法：
- 衡量 AI 推論部署在真實代理工作負載下可支援的活躍使用者數量，並評估使用者體驗效能目標，如首個代幣時間 (TTFT) 和輸出速度。
- 使用真實的代理軌跡，這些軌跡是多輪編碼會話，包含推理、工具呼叫和程式碼編輯。
- 處理可變的上下文長度，範圍從約 1K 到 131K 個代幣，平均約 27K 個代幣。
- 輸出序列長度中位數約為 150 個代幣，P95 為約 2K 個代幣。
- 支援超過 12 種程式語言。
- 在持續併發負載下，測試 KV 快取重用、推測解碼和排程器行為。
- 效能指標包括首個代幣時間 (TTFT)、輸出速度（每秒代幣數）和系統輸出吞吐量。
- 結果會根據每個加速器、每千瓦 (TDP)、每個機架和每小時成本進行正規化，以實現公平比較。
- NVIDIA 代理式 AI 平台元件：
- Blackwell 架構：提供強大的 AI 工作負載加速，優化代理式 AI 的資料處理管線，增強擷取、檢索和查詢工作流程。
- Vera CPU：專為代理式 AI 和強化學習工作負載設計的處理器，聲稱比傳統 x86 伺服器 CPU 效率提高一倍，效能提升 50%。
- Nemotron 3 Ultra：NVIDIA 新推出的開放權重模型，擁有 5000 億參數，採用專家混合 (MoE) 架構，每個代幣約有 500 億個活躍參數，專為代理所需的多步驟推理進行調整。
- NemoClaw：一個編排框架，提供代理規劃、推理、執行和委派的藍圖，包含任務分解、多代理委派和帶錯誤恢復的工具調用等企業模式模板。
- OpenShell：一個開源安全運行時，用於運行和管理代理工作負載，提供運行時沙盒、隱私路由和網路防護，並與 CrowdStrike Falcon 等安全平台整合。
🔮 前景展望AI analysis grounded in cited sources
NVIDIA 在代理式 AI 基準測試中的領先地位將加速其全棧 AI 平台的採用。
在 AA-AgentPerf 等標準化基準測試中取得領先效能，加上全面的代理開發平台（Agent Toolkit、Nemotron、OpenShell、NemoClaw），使 NVIDIA 成為企業部署自主 AI 代理的關鍵推動者。
對代理式 AI 硬體基準測試的關注將推動 AI 加速器效率的進一步創新。
AA-AgentPerf 等基準測試將效能按每千瓦和每小時成本進行正規化，這激勵硬體供應商開發更節能、更具成本效益的解決方案，以應對複雜的多輪代理工作負載。
代理式 AI 的興起將需要新的安全和治理框架。
隨著 AI 代理獲得自主權並能夠與系統和資料互動，對強大安全性（例如 NVIDIA OpenShell 中的沙盒、策略執行）和治理的需求變得至關重要，以管理操作風險。
⏳ 時間線
2026-03
Artificial Analysis 推出 AA-AgentPerf 基準測試
2026-03-16
NVIDIA 宣布推出用於自主企業 AI 代理的開源軟體，包括 Agent Toolkit、AI-Q、Nemotron 和 OpenShell。
2026-03-17
NVIDIA GTC 2026：NVIDIA 推出 OpenClaw 框架和 NemoClaw 編排框架，用於自主 AI 代理。
2026-04-01
NVIDIA 贏得 MLPerf AI 推論基準測試 v6.0，在 DeepSeek-R1 等推理模型類別中創下新紀錄，突顯軟體優化和 Blackwell Ultra 的效能。
2026-05-15
Artificial Analysis 推出首個公開的編碼代理指數，評估完整的代理堆棧（模型加線束組合）。
2026-06-02
NVIDIA Computex 2026：NVIDIA 宣布推出 Vera CPU、Nemotron 3 Ultra 模型、NemoClaw 編排框架和 OpenShell 運行時，這些都與代理式 AI 基礎設施相關。
📎 來源 (16)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： NVIDIA Developer Blog ↗