Cloudflare AI Gateway 新增即時支出限制功能

🔑 增強重點摘要

•此新功能可根據模型定價和實際代幣使用量，以美元為單位即時追蹤累計支出，這與僅限制請求數量的傳統速率限制不同，提供了更精確的成本控制方式。
•支出限制可靈活地應用於模型、供應商或自訂屬性（例如使用者、團隊或應用程式）的任意組合，並可設定為固定（例如每月重設）或滾動（每日、每週、每月）的時間視窗。
•當達到預算限制時，AI Gateway 預設會阻止進一步的請求，但開發者也可以設定動態路由規則，將請求重新導向至備用模型，以避免工作流程中斷。
•Cloudflare 提供統一計費服務，允許使用者透過單一 Cloudflare 帳單支付多個 AI 供應商的費用；購買點數會收取 5% 的交易費，但供應商的推論定價會直接轉嫁，不加價。
•針對代理工作負載，AI Gateway 支援基於自訂代理身份標頭的速率限制，這對於多代理管道至關重要，能夠在不影響其他部分的情況下限制單一受損或失控的代理。

📊 競品分析▸ Show

平台名稱	主要功能	定價模式	基準/備註
Cloudflare AI Gateway	集中式可視性、成本控制、快取、速率限制、請求重試、模型回退、DLP、Guardrails、動態路由、身份驅動策略。	核心功能免費；使用量透過 Cloudflare Workers 計費（付費方案每月 5 美元 + 使用費）；統一計費收取 5% 交易費，供應商推論費用不加價。	運行於 Cloudflare 全球邊緣網路，提供低延遲。
LiteLLM	開源 Python SDK 和代理伺服器，提供跨 100+ 供應商的統一 OpenAI 相容 API，內建成本追蹤、速率限制、負載平衡。	免費（開源）。	專注於靈活性和多供應商支援。
Portkey	AI Gateway 和生產控制平面，支援 1,600+ LLM，提供可視性、防護措施（PII 編輯、越獄偵測、內容過濾）、治理、提示管理、稽核追蹤。	免費層級，然後是分級訂閱。	具備 SOC 2、ISO、HIPAA、GDPR 合規性。
Bifrost by Maxim AI	高效能開源 AI Gateway (Go 語言)，統一存取 1,000+ 模型/23+ 供應商，支援 OpenAI 相容 API，自動故障轉移、原生 MCP 支援。	免費（開源）。	在 5,000 RPS 下，額外延遲低於 11 微秒，被認為是最佳延遲表現。
Kong AI Gateway	擴展 Kong 的 API 管理平台，提供 AI 特定功能，如提示範本、基於代幣的速率限制、AI 感知分析、無程式碼插件系統。	免費社群版，企業授權。成本可能複雜，每百萬請求可能超過 30 美元。	建立在 Kong 成熟的 API 管理基礎設施之上。

🛠️ 技術深入

代理層架構: Cloudflare AI Gateway 作為託管式閘道器（智慧反向代理），位於應用程式與一個或多個 LLM 供應商之間，部署在 Cloudflare 的邊緣網路。應用程式將其 SDK 指向閘道器端點而非供應商端點。
基於 Cloudflare Workers: 閘道器利用 Cloudflare Workers 這一無伺服器平台，在靠近使用者的邊緣執行，實現低延遲。
統一 API 介面: 提供單一、標準化的 API 端點（與 OpenAI Chat Completions 線路格式相容），抽象化多個 AI 供應商的複雜性，減少供應商鎖定。
成本計算機制: 根據模型的定價即時計算每個請求的成本，並追蹤累計支出，而非僅僅基於代幣數量。
身份整合: 與 Cloudflare Access 整合，後者又與 Okta、Azure AD、GitHub 等身份提供者 (IdP) 整合，將請求歸因於特定使用者或群組。
安全功能: 包含速率限制、DDoS 防護、身份驗證/授權、資料遺失防護 (DLP) 掃描（針對 PII、財務和醫療保健數據），以及用於有害內容審核的即時 Guardrails（使用 Workers AI 上的 @cf/meta/llama-guard-3-8b 模型）。
日誌與分析: 記錄每個請求的詳細資訊，包括使用者提示、模型回應、供應商、時間戳記、請求狀態、代幣使用量、成本和持續時間，以供稽核和故障排除。
智慧快取: 對回應進行智慧快取，減少重複的 API 呼叫，從而節省成本並改善延遲。
動態路由與回退: 可配置在暫時性錯誤時重試，或在主要供應商失敗或達到支出限制時自動回退到備用供應商。
代理身份標頭: 支援基於自訂代理身份標頭的速率限制，適用於多代理管道，以實現更精細的控制。

🔮 前景展望基於引用來源的 AI 分析

AI Gateway 將成為企業管理 AI 成本和治理的關鍵基礎設施。

引入精細的、基於身份的支出限制，將促使企業將 AI Gateway 視為管理 AI 成本和確保合規性的必要工具，加速其在企業環境中的採用。

組織將更傾向於採用混合式 AI 架構。

AI Gateway 能夠輕鬆管理和控制跨多個 AI 供應商和模型的支出，並結合動態路由功能，將鼓勵組織採用更靈活的混合式 AI 策略，而非依賴單一供應商。

AI 代理工作負載的安全性將顯著提升。

身份驅動策略和代理專屬速率限制的整合，將有效降低代理失控或提示注入攻擊等風險，從而顯著改善 AI 代理工作負載的整體安全態勢。

⏳ 時間線

2023-09

Cloudflare AI Gateway 推出 Beta 版，旨在提升 AI 應用程式的可觀察性、可靠性和可擴展性。

2024-05

Cloudflare AI Gateway 正式全面上市 (GA)。

2024-10

Cloudflare 宣布擴展 AI Gateway 的日誌儲存功能，從 30 分鐘延長至無限期保留。

2025-08

Cloudflare 為 AI Gateway 推出多項新功能，包括統一計費、安全金鑰儲存、動態路由和資料遺失防護 (DLP) 等安全控制。

2026-06-05

Cloudflare AI Gateway 推出即時支出限制功能，並將身份驅動預算（封閉測試版）與 Cloudflare Access 整合。

Cloudflare AI Gateway 新增即時支出限制功能

⚡ 30 秒速覽

關鍵要點

🧠 深度解析

🔑 增強重點摘要

🛠️ 技術深入

🔮 前景展望基於引用來源的 AI 分析

⏳ 時間線

📎 來源 (26)

👉相關動態

Cloudflare Workers 重建 Node.js 模組登錄系統