🛡️較早收集於 23m

Cloudflare 將 AI 代理權杖成本減低 98%

Cloudflare 將 AI 代理權杖成本減低 98%
PostLinkedIn
🛡️閱讀原文: Cloudflare Blog
#ai-agents#token-optimization#error-handlingcloudflare-ai-agent-error-responsescloudflarerfc-9457

💡結構化錯誤為 AI 代理節省 98% 權杖 – 成本優化必備 (22字)

⚡ 30-Second TL;DR

有什麼變化

符合 RFC 9457 的 AI 代理錯誤酬載

為什麼重要

大幅降低 AI 代理與 Cloudflare 保護站點互動成本。由解析錯誤轉向結構化處理,提升代理應用可靠性和可擴展性。

下一步行動

更新您的 AI 代理以解析來自 Cloudflare 端點的 RFC 9457 JSON 錯誤。

誰應關注:Developers & AI Engineers

關鍵要點

  • 符合 RFC 9457 的 AI 代理錯誤酬載
  • 結構化 Markdown 和 JSON 回應
  • 以機器可讀指令取代 HTML
  • 權杖使用量減低 98% 以上
  • 實現高效代理控制流程

🧠 深度解析

背景與延伸:來自公開資料,非原文內容。引用 7 個來源。

🔑 增強重點摘要

  • Cloudflare 的 Code Mode 技術將大型 API(如 Cloudflare API)的權杖使用量減少 99.9%,從 117 萬個權杖降至約 1,000 個,超越傳統 MCP 伺服器方法[2]
  • Markdown for Agents 功能於 2026 年 2 月 12 日推出,在 Cloudflare 全球邊緣網路實時轉換 HTML 為 Markdown,無需網站營運者維護單獨的內容版本[1]
  • Cloudflare AI Gateway 提供精確匹配快取、速率限制和跨 20+ AI 提供商的成本追蹤,但目前不支援語義快取,僅對完全相同的請求觸發快取命中[4]
📊 競品分析▸ Show
功能Cloudflare AI GatewayLiteLLMKong AI GatewayTrueFoundry LLM Gateway
快取類型精確匹配快取支援語義快取支援語義快取支援語義快取
支援的 AI 提供商20+ 提供商多提供商多提供商多提供商
語義快取
核心功能定價免費變動變動變動
速率限制支援支援支援(權杖級別)支援
典型快取命中時間<5 毫秒<5 毫秒<5 毫秒<5 毫秒

🛠️ 技術深入

Markdown for Agents 實現:在 Cloudflare 邊緣網路進行實時 HTML 到 Markdown 轉換,透過內容協商標頭(Accept header)觸發,無需網站營運者修改後端基礎設施[1]Code Mode 架構:使用 TypeScript SDK 和動態 Worker Loader 在用戶端執行,或在伺服器端 MCP 中實現,提供兩個工具(search() 和 execute())來存取整個 API[2]權杖計算方法:x-markdown-tokens 標頭提供預處理權杖計數,允許 AI 系統在檢索前做出決策,是否擷取完整文件或分塊長內容[1]快取參數調整:語義快取的相似度閾值(0.98 嚴格 vs 0.85 寬鬆)影響命中率和準確性,30-40% 的快取命中率可產生顯著成本節省[4]

🔮 前景展望AI analysis grounded in cited sources

語義快取將成為 AI 閘道的標準功能
Cloudflare 目前僅提供精確匹配快取,但競爭對手(LiteLLM、Kong、TrueFoundry)已實現語義快取,暗示市場期望 Cloudflare 將在未來版本中採用此功能以保持競爭力[4]
AI 代理的權杖成本優化將推動邊緣運算採用
透過 Markdown 轉換和 Code Mode 實現的 80-99.9% 權杖減少,使在 Cloudflare 邊緣網路上執行 AI 工作負載相比集中式模型更具經濟效益[1][2]
統一計費將加速企業 AI 採用
2026 年新推出的統一計費功能允許直接透過 Cloudflare 發票支付第三方模型費用,降低多供應商環境中的財務複雜性[3]

時間線

2026-02
Cloudflare 推出 Markdown for Agents,將 HTML 轉換為 Markdown 以減少 80% 的權杖使用量
2026-02
Cloudflare 發布 Code Mode MCP 伺服器,將 Cloudflare API 的權杖使用量從 117 萬減少至 1,000 個
2026-02
Cloudflare 開源 Code Mode SDK,供開發者在自有 MCP 伺服器和 AI 代理中使用
2026-03
Cloudflare AI Gateway 預設啟用,自動為所有用戶提供日誌記錄、快取和速率限制功能
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Cloudflare Blog

這是摘要,不是原文。去看原站,或訂閱每週簡報。

每週 AI 簡報

每週一封,可隨時退訂。