🔍Google AI Blog•較早收集於 4h
Gemini API 新增 Flex 與 Priority 層級
💡Gemini 新層級降低成本或提升可靠性—立即選擇最適平衡！(28字)
⚡ 30-Second TL;DR
有什麼變化
推出 Flex 層級以優化成本推論
為什麼重要
開發者現在可選擇 Flex 用於非緊急任務的低成本推論，並保留 Priority 用於即時需求。這可能將整體 API 費用降低高達 50%，而不損及關鍵品質。
下一步行動
立即在 Gemini API 主控台測試 Flex 層級，用於您的批次推論工作負載。
誰應關注：Developers & AI Engineers
關鍵要點
- •推出 Flex 層級以優化成本推論
- •推出 Priority 層級以確保高可靠性
- •在 Gemini API 中平衡成本與延遲
- •來自 Google AI Blog 公告
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Flex 層級採用了基於吞吐量的計費模式，旨在為對延遲不敏感的批次處理任務提供顯著的成本節省。
- •Priority 層級透過專屬的運算資源池，為企業級應用提供更嚴格的服務水準協議（SLA）保障，特別是在高流量時段。
- •此次更新引入了動態負載平衡機制，允許開發者根據 API 請求的即時重要性，在單一專案中靈活切換不同層級。
📊 競品分析▸ Show
| 特色/比較項目 | Google Gemini API (Flex/Priority) | OpenAI API (Batch/Standard) | Anthropic API (Standard/High Throughput) |
|---|---|---|---|
| 成本優化機制 | Flex 層級 (低成本批次) | Batch API (50% 折扣) | High Throughput (預留容量) |
| 可靠性保障 | Priority 層級 (專屬資源) | Standard/Enterprise (SLA) | Standard (速率限制) |
| 適用場景 | 混合型負載與企業級應用 | 大規模離線處理 | 高效能即時推論 |
🛠️ 技術深入
- •Flex 層級利用了 Google TPU 的閒置算力池，透過非同步排程技術降低單位推論成本。
- •Priority 層級實作了請求優先權佇列（Request Priority Queuing），確保在系統負載過高時，高優先權請求能優先取得運算資源。
- •API 介面新增了
tier參數，開發者可在請求標頭中指定flex或priority，系統會自動路由至對應的基礎設施層。 - •此架構整合了 Google Cloud 的自動擴展（Auto-scaling）策略，針對 Priority 層級提供更激進的預熱（Warm-up）機制以減少冷啟動延遲。
🔮 前景展望AI analysis grounded in cited sources
雲端 AI 推論市場將全面轉向分層定價模式。
隨著企業對 AI 成本控制的需求增加，單一價格模型已無法滿足從原型開發到大規模生產的多樣化需求。
開發者將更依賴自動化路由工具來管理 API 層級。
手動切換 Flex 與 Priority 層級過於繁瑣，未來將出現更多基於成本與效能預測的自動化中介軟體。
⏳ 時間線
2023-12
Google 正式發布 Gemini 1.0 模型系列。
2024-02
Gemini 1.5 Pro 發布，引入長上下文視窗技術。
2025-05
Google 擴展 Gemini API 的企業級功能與安全性設定。
2026-04
Gemini API 正式推出 Flex 與 Priority 推論層級。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Google AI Blog ↗