📄ArXiv AI•最新收集於 5h
SMC 加速工具型 AI Agent
#agent-latency#tool-use#macro-libraryspeculative-macro-commit-(smc)speculative macro commitqwen3.5-27bqwen3.5-4btau2-benchappworld
💡了解多步驟推測執行如何在單步推測之外進一步降低 Agent 延遲。
⚡ 30-Second TL;DR
有什麼變化
採用 Qwen3.5-27B INT4 作為權威 Actor，並以更快速的 Qwen3.5-4B 擔任推測草稿模型。
為什麼重要
SMC 不只加速模型推理，也能隱藏工具呼叫與環境轉換延遲，可能提升多步驟 Agent 的實用性。其效益取決於動作序列的可預測性與安全的快照隔離，因此開發者必須妥善處理錯誤推測造成的副作用與回復機制。
下一步行動
複製 SMC 程式碼庫，並在你自己的多步驟工具使用工作流程上測試其快照隔離、回復行為與延遲改善幅度。
誰應關注：Developers & AI Engineers
關鍵要點
- •採用 Qwen3.5-27B INT4 作為權威 Actor，並以更快速的 Qwen3.5-4B 擔任推測草稿模型。
- •在隔離的環境快照中預先執行預測的動作鏈，當 Actor 的下一個工具呼叫吻合時提交結果。
- •從訓練軌跡中挖掘重複出現的多動作骨架，建立供執行時比對的巨集函式庫。
- •在 τ²-Bench Telecom 上，相較於 Speculative Actions 基準延遲降低 10.23%；在 AppWorld 上降低 7.7%。
- •在 τ²-Bench 上維持序列 Agent 的準確率，但 AppWorld 的任務完成率略有下降。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗
每週 AI 簡報
每週一封，可隨時退訂。