💼VentureBeat•最新收集於 0m
Snowflake 新增自動路由，降低 AI 成本
💡了解自動模型路由如何讓企業 AI token 成本最高降低 3 倍。
⚡ 30-Second TL;DR
有什麼變化
客戶可選擇「auto」，讓 Cortex AI Gateway 為每個查詢挑選最適合的模型。
為什麼重要
對大規模運行 AI 代理程式的企業而言，自動路由可能降低推論成本與延遲，同時避免所有任務使用單一模型所造成的品質取捨。其治理整合也可能提升模型路由在受監管企業環境中的實用性。
下一步行動
使用具代表性的查詢集合測試 Cortex AI Gateway 的「auto」路由，並與目前的固定模型設定比較 token 成本、延遲與回答品質。
誰應關注：Enterprise & Security Teams
關鍵要點
- •客戶可選擇「auto」，讓 Cortex AI Gateway 為每個查詢挑選最適合的模型。
- •在 advisor pattern 中，小型模型會先嘗試處理任務，必要時再呼叫大型模型。
- •根據查詢歷史訓練的分類器，會將簡單請求路由至更便宜的小型模型。
- •客戶可將自動路由限制在特定模型或核准的模型集合內。
- •路由功能會沿用 Snowflake 在資料、模型、代理程式與使用者角色上的治理控制。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •此功能整合了 Snowflake Cortex 的無伺服器架構，確保路由決策在毫秒級完成，避免增加顯著的延遲（Latency）。
- •自動路由機制支援自定義策略，企業可根據特定業務 KPI（如：優先考慮準確度而非成本）來微調路由邏輯。
- •該技術利用了 Snowflake 內部的元數據（Metadata）分析，能自動識別查詢的語義複雜度，而非僅依賴 Token 數量。
- •此更新進一步強化了 Snowflake 與第三方模型供應商（如 Meta、Mistral、Google）的整合，允許在混合模型環境中進行統一治理。
- •Snowflake 透過此功能解決了企業在 AI 部署中常見的『模型選擇疲勞』問題，降低了開發人員手動編寫路由邏輯的維護成本。
📊 競品分析▸ Show
| 特性 | Snowflake Cortex AI Gateway | Databricks AI Gateway | AWS Bedrock (Model Router) |
|---|---|---|---|
| 路由機制 | 基於任務複雜度與成本動態路由 | 基於規則與權重路由 | 基於模型效能與可用性路由 |
| 治理整合 | 與 Snowflake 資料治理深度綁定 | 與 Unity Catalog 整合 | 與 IAM 及 CloudWatch 整合 |
| 定價模式 | 路由功能免費，僅收模型使用費 | 包含在平台訂閱中 | 依請求量與模型計費 |
🛠️ 技術深入
- 採用基於分類器（Classifier）的路由架構，該分類器在 Snowflake 的計算層（Compute Layer）上運行，可即時分析輸入提示詞（Prompt）的意圖。
- 支援 Advisor Pattern，透過輕量級模型（如 Llama 3 8B 或 Mistral NeMo）作為閘道器，先行評估請求是否需要轉發至大型模型（如 Llama 3 70B 或 Claude 3.5 Sonnet）。
- 路由邏輯完全封裝在 Snowflake 的 SQL API 與 Python SDK 中，開發者無需更改現有的應用程式代碼即可啟用。
- 系統自動記錄所有路由決策的日誌，並將其存儲在 Snowflake 的系統表中，便於企業進行成本審計與模型效能分析。
🔮 前景展望AI analysis grounded in cited sources
企業 AI 支出將從固定模型成本轉向動態優化模型成本。
自動路由技術將使企業能夠在維持服務品質的前提下，將高成本模型的使用率降至最低。
Snowflake 將進一步推動『模型中立』的企業 AI 策略。
透過統一的路由與治理層，企業將更傾向於混合使用多個供應商的模型，而非被單一模型廠商鎖定。
⏳ 時間線
2024-05
Snowflake 正式推出 Cortex AI，提供託管模型與 AI 功能。
2024-11
Snowflake 宣布 Cortex AI Gateway 預覽版，強化模型存取控制。
2025-06
Snowflake 擴展 Cortex 功能，支援更多開源模型與微調能力。
2026-08
Snowflake 推出 Cortex AI Gateway 自動路由功能，優化 AI 成本與效能。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： VentureBeat ↗