🕷️
SetupAI
🛡️較早收集於 81m

Cloudflare AI Gateway 新增即時支出限制功能

Cloudflare AI Gateway 新增即時支出限制功能
PostLinkedIn
🛡️閱讀原文： Cloudflare Blog
#cost-management#api-security#cloud-infrastructurecloudflare-ai-gatewaycloudflareai-gateway

💡防止 AI 費用失控：Cloudflare 現在允許您為 AI API 使用量設定嚴格的支出上限。

⚡ 30-Second TL;DR

有什麼變化

即時支出限制可防止 AI API 供應商產生意外的高額帳單。

為什麼重要

此功能透過提供 API 超額使用的安全網，顯著降低了企業擴展 AI 應用時的財務風險。它讓工程團隊能夠在無需擔心帳單失控的情況下，自由測試各種模型。

下一步行動

立即在您的 Cloudflare AI Gateway 儀表板中設定支出限制，以保護您的 API 金鑰免受意外的過度消耗。

誰應關注：Developers & AI Engineers

關鍵要點

  • •即時支出限制可防止 AI API 供應商產生意外的高額帳單。
  • •與 Cloudflare Access 整合，實現基於身份的預算管理。
  • •在單一儀表板中集中控制多個 AI 模型與供應商的使用量。

🧠 深度解析

Web-grounded analysis with 26 cited sources.

🔑 增強重點摘要

  • •此新功能可根據模型定價和實際代幣使用量，以美元為單位即時追蹤累計支出，這與僅限制請求數量的傳統速率限制不同，提供了更精確的成本控制方式。
  • •支出限制可靈活地應用於模型、供應商或自訂屬性（例如使用者、團隊或應用程式）的任意組合，並可設定為固定（例如每月重設）或滾動（每日、每週、每月）的時間視窗。
  • •當達到預算限制時，AI Gateway 預設會阻止進一步的請求，但開發者也可以設定動態路由規則，將請求重新導向至備用模型，以避免工作流程中斷。
  • •Cloudflare 提供統一計費服務，允許使用者透過單一 Cloudflare 帳單支付多個 AI 供應商的費用；購買點數會收取 5% 的交易費，但供應商的推論定價會直接轉嫁，不加價。
  • •針對代理工作負載，AI Gateway 支援基於自訂代理身份標頭的速率限制，這對於多代理管道至關重要，能夠在不影響其他部分的情況下限制單一受損或失控的代理。
📊 競品分析▸ Show
平台名稱主要功能定價模式基準/備註
Cloudflare AI Gateway集中式可視性、成本控制、快取、速率限制、請求重試、模型回退、DLP、Guardrails、動態路由、身份驅動策略。核心功能免費；使用量透過 Cloudflare Workers 計費（付費方案每月 5 美元 + 使用費）；統一計費收取 5% 交易費，供應商推論費用不加價。運行於 Cloudflare 全球邊緣網路，提供低延遲。
LiteLLM開源 Python SDK 和代理伺服器，提供跨 100+ 供應商的統一 OpenAI 相容 API，內建成本追蹤、速率限制、負載平衡。免費（開源）。專注於靈活性和多供應商支援。
PortkeyAI Gateway 和生產控制平面，支援 1,600+ LLM，提供可視性、防護措施（PII 編輯、越獄偵測、內容過濾）、治理、提示管理、稽核追蹤。免費層級，然後是分級訂閱。具備 SOC 2、ISO、HIPAA、GDPR 合規性。
Bifrost by Maxim AI高效能開源 AI Gateway (Go 語言)，統一存取 1,000+ 模型/23+ 供應商，支援 OpenAI 相容 API，自動故障轉移、原生 MCP 支援。免費（開源）。在 5,000 RPS 下，額外延遲低於 11 微秒，被認為是最佳延遲表現。
Kong AI Gateway擴展 Kong 的 API 管理平台，提供 AI 特定功能，如提示範本、基於代幣的速率限制、AI 感知分析、無程式碼插件系統。免費社群版，企業授權。成本可能複雜，每百萬請求可能超過 30 美元。建立在 Kong 成熟的 API 管理基礎設施之上。

🛠️ 技術深入

  • 代理層架構: Cloudflare AI Gateway 作為託管式閘道器（智慧反向代理），位於應用程式與一個或多個 LLM 供應商之間，部署在 Cloudflare 的邊緣網路。應用程式將其 SDK 指向閘道器端點而非供應商端點。
  • 基於 Cloudflare Workers: 閘道器利用 Cloudflare Workers 這一無伺服器平台，在靠近使用者的邊緣執行，實現低延遲。
  • 統一 API 介面: 提供單一、標準化的 API 端點（與 OpenAI Chat Completions 線路格式相容），抽象化多個 AI 供應商的複雜性，減少供應商鎖定。
  • 成本計算機制: 根據模型的定價即時計算每個請求的成本，並追蹤累計支出，而非僅僅基於代幣數量。
  • 身份整合: 與 Cloudflare Access 整合，後者又與 Okta、Azure AD、GitHub 等身份提供者 (IdP) 整合，將請求歸因於特定使用者或群組。
  • 安全功能: 包含速率限制、DDoS 防護、身份驗證/授權、資料遺失防護 (DLP) 掃描（針對 PII、財務和醫療保健數據），以及用於有害內容審核的即時 Guardrails（使用 Workers AI 上的 @cf/meta/llama-guard-3-8b 模型）。
  • 日誌與分析: 記錄每個請求的詳細資訊，包括使用者提示、模型回應、供應商、時間戳記、請求狀態、代幣使用量、成本和持續時間，以供稽核和故障排除。
  • 智慧快取: 對回應進行智慧快取，減少重複的 API 呼叫，從而節省成本並改善延遲。
  • 動態路由與回退: 可配置在暫時性錯誤時重試，或在主要供應商失敗或達到支出限制時自動回退到備用供應商。
  • 代理身份標頭: 支援基於自訂代理身份標頭的速率限制，適用於多代理管道，以實現更精細的控制。

🔮 前景展望AI analysis grounded in cited sources

AI Gateway 將成為企業管理 AI 成本和治理的關鍵基礎設施。
引入精細的、基於身份的支出限制，將促使企業將 AI Gateway 視為管理 AI 成本和確保合規性的必要工具，加速其在企業環境中的採用。
組織將更傾向於採用混合式 AI 架構。
AI Gateway 能夠輕鬆管理和控制跨多個 AI 供應商和模型的支出，並結合動態路由功能，將鼓勵組織採用更靈活的混合式 AI 策略，而非依賴單一供應商。
AI 代理工作負載的安全性將顯著提升。
身份驅動策略和代理專屬速率限制的整合，將有效降低代理失控或提示注入攻擊等風險，從而顯著改善 AI 代理工作負載的整體安全態勢。

⏳ 時間線

2023-09
Cloudflare AI Gateway 推出 Beta 版，旨在提升 AI 應用程式的可觀察性、可靠性和可擴展性。
2024-05
Cloudflare AI Gateway 正式全面上市 (GA)。
2024-10
Cloudflare 宣布擴展 AI Gateway 的日誌儲存功能，從 30 分鐘延長至無限期保留。
2025-08
Cloudflare 為 AI Gateway 推出多項新功能，包括統一計費、安全金鑰儲存、動態路由和資料遺失防護 (DLP) 等安全控制。
2026-06-05
Cloudflare AI Gateway 推出即時支出限制功能，並將身份驅動預算（封閉測試版）與 Cloudflare Access 整合。
🛡️閱讀原文： Cloudflare Blog
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

同主題

探索 #cost-management

同產品

更多關於 cloudflare-ai-gateway

同來源

最新來自 Cloudflare Blog

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Cloudflare Blog ↗