📄ArXiv AI•最新收集於 9h
gpt-oss-120b 跨越 196 次工具呼叫追蹤 MD5

#long-horizon#agent-reliability#state-tracking#tool-callinggpt-oss-120bgpt-oss-120bmd5rfc-1321
💡受控的 MD5 基準測試揭示 LLM 代理能否在 196 次依賴呼叫中保存精確狀態。
⚡ 30-Second TL;DR
有什麼變化
此基準測試在 64 個 MD5 回合中執行 196 次相互依賴的工具呼叫,並在步驟間傳遞四個 32 位元字。
為什麼重要
研究結果顯示,長鏈代理的可靠性高度取決於明確的狀態管理,而不只是單步推理準確度。這種受控測試也提供了實用方法,可診斷失敗究竟源於類似記憶的狀態追蹤,還是計算本身。
下一步行動
使用 gpt-oss-120b 重現 196 次呼叫的 MD5 測試,保留模型先前的推理上下文並加入工作模型投票,以量測代理的狀態追蹤失敗率。
誰應關注:Researchers & Academics
關鍵要點
- •此基準測試在 64 個 MD5 回合中執行 196 次相互依賴的工具呼叫,並在步驟間傳遞四個 32 位元字。
- •每個中間狀態都與 RFC 1321 的真值追蹤逐一比對,將簿記錯誤與指令理解失敗區分開來。
- •gpt-oss-120b 在溫度 0 下,多數完成的執行都產生了正確的最終摘要。
- •保留模型自身的推理上下文,以及對具備思考能力的工作模型進行投票,是提升可靠性的主要方法。
- •研究將剩餘失敗分為狀態傳遞、算術運算與服務環境等來源。
🧠 深度解析
背景與延伸:來自公開資料,非原文內容。引用 9 個來源。
🔑 增強重點摘要
- •GPT-OSS-120B 採用混合專家模型 (MoE) 架構,總參數約 1200 億,但單一 Token 僅激活約 5.1B 至 5.5B 參數,實現了高效推理。
- •該模型支援 128k Token 的上下文視窗,這是維持長鏈工具呼叫中狀態依賴性的關鍵技術基礎。
- •GPT-OSS-120B 以 Apache 2.0 授權發布,是 OpenAI 首個採用開放權重策略的旗艦級模型,與其封閉式模型系列區隔。
- •硬體需求方面,得益於 MoE 架構的稀疏性,該模型可在單張 80GB VRAM 的 GPU 上運行,大幅降低了部署門檻。
- •在發布後的基準測試中,該模型在 Codeforces、MMLU 及 HealthBench 等指標上展現出與 o4-mini 模型相當的推理與編碼能力。
📊 競品分析▸ Show
| 特性/模型 | GPT-OSS-120B | o4-mini | Llama 3.1 70B |
|---|---|---|---|
| 架構 | MoE (120B) | 專有架構 | Dense (70B) |
| 授權 | Apache 2.0 | 封閉 | Llama 3.1 Community |
| 部署 | 本地/雲端 | 僅 API | 本地/雲端 |
| 長鏈推理 | 優異 (MD5 驗證) | 優異 | 中等 |
🛠️ 技術深入
- 模型架構:基於 Mixture-of-Experts (MoE) 設計,透過稀疏激活機制優化計算資源分配。
- 狀態追蹤:針對 RFC 1321 MD5 演算法進行優化,確保在 196 次連續呼叫中,四個 32 位元暫存器狀態的精確傳遞。
- 部署支援:原生相容於 Ollama、vLLM 與 LM Studio 等主流推論引擎。
- 推理優化:針對工具呼叫 (Function Calling) 與思維鏈 (CoT) 進行了專門的微調,以減少長序列中的累積誤差。
🔮 前景展望AI analysis grounded in cited sources
MoE 架構將成為長鏈代理任務的標準配置。
GPT-OSS-120B 證明了稀疏模型在維持長序列狀態精確度方面,能以較低算力成本達到與密集模型相當的表現。
MD5 狀態追蹤將成為評估 LLM 代理可靠性的新基準。
該研究成功將複雜的加密演算法拆解為可量化的工具呼叫步驟,為區分模型推理錯誤與簿記錯誤提供了標準化方法。
⏳ 時間線
2025-08
OpenAI 正式發布 GPT-OSS-120B 開放權重模型。
2026-05
研究團隊開始針對長鏈工具呼叫進行 MD5 狀態追蹤基準測試。
2026-09
ArXiv 發布關於 GPT-OSS-120B 在 196 次 MD5 呼叫中表現的研究報告。
📎 來源 (9)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: ArXiv AI ↗
每週 AI 簡報
每週一封,可隨時退訂。