🐯虎嗅•較早收集於 28m
AI Agent 的工程執行環境治理經驗
💡學習如何超越基礎 Demo，構建生產級、可靠的 Agent 執行環境。
⚡ 30-Second TL;DR
有什麼變化
Function Calling 是結構化意圖表達的入口，而不僅僅是簡單的 API 調用。
為什麼重要
將焦點從模型輸出轉向穩健的運行時工程，這對於構建生產級 AI Agent 至關重要。
下一步行動
在 Agent 循環中實作穩健的中間件層，在執行業務邏輯前驗證並清理工具輸出。
誰應關注：Developers & AI Engineers
關鍵要點
- •Function Calling 是結構化意圖表達的入口，而不僅僅是簡單的 API 調用。
- •可靠性需要三個層面：格式穩定性 (JSON)、語義穩定性 (工具選擇) 與執行穩定性 (運行時處理)。
- •Agent 循環必須在應用層管理狀態、重試機制與高風險動作驗證。
- •現代模型已從單一函數調用演進為並行的 tool_calls 陣列，以提升效率。
🧠 深度解析
Web-grounded analysis with 23 cited sources.
🔑 增強重點摘要
- •大型語言模型（LLM）的函數調用（Function Calling）本質上是模型根據用戶輸入和提供的工具描述，生成一個結構化的JSON響應，建議應用程式執行特定函數及其參數，而非LLM直接執行函數。
- •為確保函數調用輸出的可靠性與格式穩定性，OpenAI等平台引入了如
strict: true的結構化輸出功能，強制模型生成的參數嚴格符合預定義的JSON Schema，從而減少錯誤並提高工程穩定性。 - •Agent系統中的並行工具調用雖然能顯著提升效率並降低延遲，但也引入了新的工程挑戰，例如識別工具設計中潛在的耦合問題、確保工具的冪等性（idempotency）以及設計競態條件（Race Condition）的防範機制。
- •在Agentic AI的推理工作流程中，CPU在工具處理環節的重要性日益提升，因為LLM生成工具調用指令後，系統需等待LLM生成完整的token才能開始執行工具，這導致GPU空轉，而CPU的核數則決定了能開啟多少個並行沙箱來處理工具。
- •Agent框架的核心價值在於將狀態管理、流程控制、可觀測性、安全與可靠性等複雜工程問題抽象化和標準化，提供一個健壯的基礎架構，使開發者能專注於業務邏輯而非重複造輪子，尤其在多Agent系統中更顯關鍵。
📊 競品分析▸ Show
| 功能/平台 | OpenAI (GPT系列) | Google (Gemini系列) | Anthropic (Claude系列) |
|---|---|---|---|
| Function Calling名稱 | Function Calling / Tool Calling | Function Calling | Tool Use |
| 並行工具調用 | 支援並行Function Calling，於2023年11月實作 | 支援並行Function Calling，模型能預測並行調用以收集資訊 | 支援並行工具使用 |
| Schema定義 | JSON Schema | OpenAPI兼容JSON Schema，Python函數定義與docstrings | XML格式的工具描述 |
| 結構化輸出保證 | 支援strict: true確保參數嚴格符合Schema (2024年8月推出) | 預設模式VALIDATED確保函數Schema一致性 | 透過XML格式確保結構化輸出 |
| 主要優勢 | 多API編排能力強，編排效率高，適合高併發場景 | 易於開發者獲取結構化數據輸出，模型能預測調用順序和並行化 | 適合對參數格式要求嚴格的場景，如複雜Schema、嵌套對象 |
| 潛在挑戰 | 複雜Schema下可能偶爾遺漏參數或類型錯誤 (無strict模式時) | 簡單場景成本敏感，可能需要更強的參數校驗中間件 | 實現方式可能較為複雜，需要解析XML格式 |
🛠️ 技術深入
- Function Calling機制：LLM本身不執行函數，而是根據用戶輸入和提供的工具描述，生成一個包含函數名稱和所需參數的結構化JSON響應。應用程式接收此響應後，負責實際執行該函數，並將結果返回給LLM以生成最終的自然語言回覆。
- 函數宣告與Schema：開發者需定義可供模型調用的函數，通常透過OpenAPI兼容的JSON Schema來描述函數的名稱、用途、參數及其類型。Google Gemini也支援直接從Python函數定義和docstrings自動生成Schema。
- 並行函數調用：現代LLM（如OpenAI、Google Gemini、Anthropic Claude）已支援在單一對話回合中生成多個
tool_calls陣列，允許應用程式同時執行多個獨立的工具調用，從而減少總體延遲。 - 可靠性與錯誤處理：
- 格式穩定性：透過
strict: true等機制確保模型輸出JSON參數嚴格符合預定義Schema。 - 語義穩定性：模型需準確理解用戶意圖並選擇正確的工具。
- 執行穩定性：應用層需管理狀態、實作重試機制（如設定最大嘗試次數、區分可重試與不可重試錯誤）和高風險動作驗證（Human-In-The-Loop），並處理工具調用失敗時的降級策略。
- 格式穩定性：透過
- Agent循環管理：Agent系統需要應用層來管理對話歷史、中間思考過程的狀態，並在工具調用失敗時觸發重試邏輯。對於高風險操作，應引入人工審批（Human-In-The-Loop）機制。
- CPU在Agentic AI中的角色：在Agentic AI工作流程中，由於LLM生成工具調用指令後，GPU會等待工具返回結果，導致空轉。CPU則負責處理這些工具的執行，其核心數決定了能開啟的並行沙箱數量，因此在複雜的Agentic任務中，CPU成為任務編排和工具處理的關鍵瓶頸環節。
🔮 前景展望AI analysis grounded in cited sources
AI Agent的工程複雜度將持續增長，需要更成熟的軟體工程實踐。
隨著AI Agent從單一任務演進到多Agent系統和複雜工作流，管理大量自主、非確定性組件的挑戰將使分散式系統、事件驅動架構等傳統軟體工程原則變得前所未有的重要。
對AI Agent的安全性與可靠性要求將大幅提高，Human-In-The-Loop機制將成為常態。
由於AI Agent能夠操作外部系統（如資料庫、發送郵件），在高風險動作前插入人工審批、實施最小權限原則和輸出驗證等安全護欄將是防止Agent失控的必要措施。
AI Agent框架將朝向更模組化、可觀測和可擴展的方向發展。
為應對複雜業務場景，未來的Agent框架將提供更細粒度的步驟追蹤、事件化日誌、重播除錯能力，並支援多模型路由和統一網關，以實現高效的維運和故障排除。
⏳ 時間線
2023-06
OpenAI推出Function Calling功能
2023-11
OpenAI實作並行Function Calling
2024-03
Anthropic Claude V3 Opus模型支援Function Calling
2024-08
OpenAI推出Function Calling的結構化輸出功能（strict: true）
2025-03
Google Gemini 2.0 Flash支援Function Calling
📎 來源 (23)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： 虎嗅 ↗