💼VentureBeat•較早收集於 15m
GPT-5.5 在全新 ALE 基準測試中擊敗 Claude Fable 5

#benchmarking#agentic-ai#evaluation-frameworkagents’-last-exam-(ale)openaianthropicgpt-5.5claude fable 5uc berkeley
💡全新的嚴格基準測試 ALE 揭露了模型在真實專業工作流程中的缺陷,GPT-5.5 目前暫居領先。
⚡ 30-Second TL;DR
有什麼變化
ALE 基準測試從大腦、視覺、協調、工具調用與運行環境五個功能層面評估 AI。
為什麼重要
ALE 為評估代理型 AI 樹立了新標準,將焦點從狹窄的編碼任務轉向複雜的多步驟專業工作流程。這可能會迫使模型開發者優先考慮強大的工具協調與視覺感知能力。
下一步行動
根據 ALE 框架檢視您代理程式的效能,以找出在多步驟工具協調與視覺桌面導航方面的弱點。
誰應關注:Researchers & Academics
關鍵要點
- •ALE 基準測試從大腦、視覺、協調、工具調用與運行環境五個功能層面評估 AI。
- •GPT-5.5 以 24.0% 的通過率位居榜首,領先 Claude Fable 5 的 22.0%。
- •該測試減少了「LLM 作為評審」的機制,轉而採用確定性的程式碼評估來處理專業任務。
- •任務與美國聯邦職業分類 (O*NET/SOC 2018) 對接,涵蓋 55 個產業領域。
🧠 深度解析
Web-grounded analysis with 29 cited sources.
🔑 增強重點摘要
- •ALE 基準測試由加州大學柏克萊分校的負責任去中心化智慧中心 (RDI) 與超過 250 位產業專家合作開發,旨在評估 AI 代理在真實、長期且具有經濟價值的專業工作流程中的表現。
- •ALE 任務直接取自真實專業人士的日常工作,例如在 DaVinci Resolve 中建立 3D 模型或執行色度鍵與影片合成,並透過可驗證的程式碼評估來評分,而非依賴人類判斷。
- •GPT-5.5 於 2026 年 4 月 23 日發布,其主要優化目標是「代理工作」,這類任務需要規劃、工具使用、記憶體管理和連續決策,而非僅限於原始智慧或單輪回應。
- •Claude Fable 5 於 2026 年 6 月 9 日發布,是 Anthropic 的「神話級」(Mythos-class) 模型,專為長時間、非同步任務設計,具備進階視覺能力和自我驗證機制。
- •ALE 基準測試所依據的 ONET/SOC 2018 職業分類系統,是美國聯邦政府用於統計目的的標準,涵蓋公共、私人和軍事部門的所有職業,並已整合至 ONET-SOC 2019 分類法中。
📊 競品分析▸ Show
| 特性/基準 | GPT-5.5 (OpenAI) | Claude Fable 5 (Anthropic) |
|---|---|---|
| 發布日期 | 2026 年 4 月 23 日 | 2026 年 6 月 9 日 |
| 主要焦點 | 代理工作:多步驟任務、規劃、工具使用、記憶體管理、連續決策 | 長期自主性、非同步任務、進階視覺、自我驗證、子代理協調 |
| 上下文視窗 | 1M+ tokens (922K 輸入, 128K 輸出) | 1,000,000 tokens (128K 輸出) |
| ALE 通過率 | 24.0% | 22.0% |
| 其他基準 (部分) | Terminal-Bench 2.0: 82.7% FrontierMath Tier 1-3: 51.7% GDPval: 84.9% OSWorld-Verified: 78.7% | SWE-Bench Pro: 80.3% 空間推理: 38.6% (對比 Opus 4.8 的 14.5%) 法律推理: 13.3% (對比 GPT-5.5 的 2.1%) OSWorld-Verified: 78.0% |
| 定價 (每百萬 tokens) | 輸入: $5, 輸出: $30 | 輸入: $10, 輸出: $50 |
🛠️ 技術深入
- ALE 基準測試方法: ALE 旨在評估通用電腦使用代理 (GCUA),這些代理可完全存取圖形使用者介面 (GUI) 和命令列介面 (CLI)。任務是真實專案,被轉換為程式碼評級、完全可重現的測試,不涉及人類評審。它包含三個難度層級(近期、全光譜、期末考)以及一個針對僅限終端機代理的 ALE-CLI 子集。
- GPT-5.5 架構與能力: GPT-5.5 專為代理工作而建構,側重於規劃、工具使用(搜尋、程式碼執行、檔案操作、外部 API 呼叫)、記憶體管理和循序決策。它更擅長判斷何時以及如何使用工具,將工具呼叫視為計畫的一部分。它以單一統一架構處理文字、圖像、音訊和視訊(原生全模態)。相較於 GPT-5.4,GPT-5.5 在執行相同的 Codex 任務時,輸出 tokens 約減少 40%。
- Claude Fable 5 架構與能力: Claude Fable 5 屬於「神話級」模型,具備長期自主性,能夠跨階段規劃、追蹤依賴關係並繞過任務中的障礙。其自我驗證功能包括為程式碼編寫測試,並使用視覺來根據原始設計或目標驗證輸出。它支援子代理協調,並擁有進階視覺能力,可理解文件和 PDF 中的圖表、表格。其上下文視窗為 1,000,000 tokens,最大輸出為 128k tokens。
🔮 前景展望AI analysis grounded in cited sources
AI 代理的評估將越來越側重於其執行複雜、長期、真實世界專業任務的能力,而非靜態、短期基準。
ALE 等基準測試旨在解決現有基準快速飽和且無法反映經濟價值工作的局限性,推動產業朝向更實用的評估方向發展。
AI 模型的發展將日益專注於「代理性」能力,例如規劃、工具使用和自主執行,而不僅僅是原始智慧或單輪回應。
GPT-5.5 和 Claude Fable 5 等模型明確為多步驟、長期代理工作而設計和優化,這表明產業趨勢明顯朝向更具能力和自主性的 AI 系統發展。
儘管前沿模型有所進步,但目前 AI 代理在可靠的真實世界專業工作方面仍存在顯著差距。
即使是 GPT-5.5 和 Claude Fable 5 等頂級代理在 ALE 基準測試中也僅取得相對較低的通過率(分別為 24.0% 和 22.0%),其中最困難的層級平均通過率僅為 2.6%,這突顯了巨大的改進空間。
⏳ 時間線
2018-06
OpenAI 發布 GPT-1,展示 Transformer 架構在語言生成方面的能力。
2021-01
Anthropic 由前 OpenAI 成員創立,專注於 AI 安全。
2023-03
Anthropic 發布 Claude 1,作為其首個公開 AI 模型。
2024-03
Anthropic 發布 Claude 3 系列模型 (Haiku, Sonnet, Opus),引入多模態圖像支援。
2026-04-23
OpenAI 發布 GPT-5.5 (代號 "Spud"),專為代理工作設計。
2026-06-09
Anthropic 發布 Claude Fable 5,作為其 Mythos 級別模型,專為長時間、非同步任務設計。
📎 來源 (29)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
- kucoin.com
- snorkel.ai
- agenthle.org
- venturebeat.com
- arxiv.org
- huggingface.co
- mindstudio.ai
- wikipedia.org
- openai.com
- azure.com
- amazon.com
- truefoundry.com
- claude.com
- microsoft.com
- onetcenter.org
- lightcast.io
- onetcenter.org
- workforcegps.org
- aila.org
- openrouter.ai
- vellum.ai
- pushleads.com
- koder.ai
- timesofai.com
- wikipedia.org
- taskade.com
- wikipedia.org
- timesofai.com
- github.com
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: VentureBeat ↗