📝OpenAI Blog•較早收集於 7h
WebSockets 加速代理工作流程
💡使用 OpenAI Responses API 的 WebSockets + 快取，將代理延遲減半以上
⚡ 30-Second TL;DR
有什麼變化
WebSockets 為代理工作流程提供持久連線
為什麼重要
開發 AI 代理的工程師現在可在迭代工作流程中實現更低延遲和成本降低。這提升使用 OpenAI 模型的生產代理應用可擴展性。
下一步行動
在 OpenAI 的 Responses API 中測試 WebSockets，用於你的代理迴圈以降低延遲。
誰應關注：Developers & AI Engineers
關鍵要點
- •WebSockets 為代理工作流程提供持久連線
- •深入探討 Codex 代理迴圈實作
- •連線範圍快取減少 API 呼叫開銷
- •改善回應中的整體模型延遲
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •WebSockets 的引入解決了傳統 HTTP/1.1 或 HTTP/2 請求在頻繁進行代理迴圈（Agent Loop）時，因重複建立 TCP/TLS 握手而產生的顯著延遲問題。
- •連線範圍快取（Connection-scoped caching）允許在單一 WebSocket 會話期間保留上下文狀態，從而減少了將完整對話歷史記錄重新發送至伺服器的頻寬消耗。
- •此架構優化特別針對需要多步驟推理的複雜代理任務，透過減少往返時間（RTT）有效提升了自動化代理在執行工具呼叫時的反應速度。
📊 競品分析▸ Show
| 特性 | OpenAI (WebSockets) | Anthropic (Messages API) | Google (Gemini API) |
|---|---|---|---|
| 連線方式 | 持久化 WebSocket | 主要為 HTTP REST | HTTP/REST 與 gRPC |
| 代理迴圈優化 | 高 (專注於減少握手開銷) | 中 (依賴串流與批次處理) | 中 (依賴 gRPC 雙向串流) |
| 適用場景 | 低延遲代理自動化 | 長上下文推理 | 高吞吐量生產環境 |
🛠️ 技術深入
- 協定層：利用 WebSocket 升級機制（Upgrade Header）將 HTTP 連線轉為全雙工通訊，消除每個請求的 TCP 慢啟動影響。
- 狀態管理：實作連線範圍快取，將代理的執行狀態（如工具執行結果、中間變數）暫存於伺服器端的記憶體中，避免在後續迴圈中重複傳輸。
- 延遲優化：透過減少 TLS 握手次數，將代理迴圈的單次往返延遲（RTT）降低了約 30% 至 50%。
- 錯誤處理：在 WebSocket 連線中引入了心跳機制（Heartbeat）與自動重連邏輯，以確保代理任務在長時執行期間的穩定性。
🔮 前景展望AI analysis grounded in cited sources
代理自動化將從請求-回應模式轉向持久化會話模式。
WebSockets 的廣泛採用將使開發者更傾向於構建長期運行的代理，而非依賴無狀態的 API 呼叫。
API 成本結構將發生變化。
隨著連線範圍快取的普及，供應商可能會從單純的 Token 計費轉向結合連線時長與運算資源的混合計費模式。
⏳ 時間線
2023-11
OpenAI 推出 Assistants API，初步引入代理開發框架。
2024-05
OpenAI 針對 API 延遲進行大規模基礎設施優化。
2026-04
OpenAI 在 Responses API 中正式引入 WebSockets 以加速代理工作流程。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： OpenAI Blog ↗