🤝Together AI Blog•最新收集於 7h
Together AI 推出前沿模型專用吞吐量服務
#inference#cost-optimization#cloud-infrastructuretogether-ai-provisioned-throughputtogether aiminimax m3glm-5.2
💡透過前沿開放模型的預留容量與 99% SLA，將推理成本降低 90%。
⚡ 30-Second TL;DR
有什麼變化
為 MiniMax M3 和 GLM-5.2 等前沿開放模型提供預留推理容量
為什麼重要
此發布使企業能夠以可預測的成本和可靠性部署高效能開放模型。對於希望從昂貴的專有模型 API 遷移的企業而言，這顯著降低了門檻。
下一步行動
評估您目前的推理成本，並針對生產工作負載測試 Provisioned Throughput API，以確認是否能節省高達 90% 的費用。
誰應關注：Developers & AI Engineers
關鍵要點
- •為 MiniMax M3 和 GLM-5.2 等前沿開放模型提供預留推理容量
- •提供 99% 的正常運行時間 SLA，確保生產環境穩定性
- •基於 Token 的定價模式，成本較專有 API 降低高達 90%
- •無需管理 GPU 時數或底層基礎設施
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Together AI 的 Provisioned Throughput 服務利用了其專有的推理引擎（Together Inference Engine），該引擎針對 FlashAttention-3 和分段 KV 快取進行了深度優化，以實現極致的吞吐量。
- •此服務支援動態負載平衡，允許企業在多個區域之間自動分配推理請求，進一步提升了高併發場景下的服務可靠性。
- •除了 MiniMax 和 GLM 系列，該服務還整合了對 Llama 3.1 和 Qwen 2.5 等主流開源模型的原生支援，實現了跨架構的統一 API 介面。
- •Together AI 透過與頂級雲端供應商的專用互連（Direct Connect），為企業客戶提供低延遲的私有網路存取路徑，減少公共網路帶來的抖動。
- •該服務引入了細粒度的監控儀表板，客戶可即時追蹤 Token 生成速率（TPS）、延遲分佈（P99）以及 GPU 記憶體利用率，便於進行容量規劃。
📊 競品分析▸ Show
| 特性 | Together AI (Provisioned Throughput) | AWS Bedrock (Provisioned Throughput) | Azure OpenAI (Provisioned Throughput) |
|---|---|---|---|
| 模型支援 | 開放模型 (MiniMax, GLM, Llama) | 專有模型 (Claude, Titan) | 專有模型 (GPT-4o) |
| 定價模式 | 基於 Token 的預留容量 | 基於小時的預留容量 (PTU) | 基於小時的預留容量 (PTU) |
| 基礎設施管理 | 完全託管，無需管理 GPU | 需配置 PTU 數量 | 需配置 PTU 數量 |
| 成本優勢 | 較專有 API 降低高達 90% | 視模型而定，通常較高 | 視模型而定，通常較高 |
🛠️ 技術深入
- 採用了針對異構 GPU 叢集優化的分散式推理架構，支援模型並行（Model Parallelism）與流水線並行（Pipeline Parallelism）。
- 實作了連續批次處理（Continuous Batching）技術，顯著提升了在處理長上下文請求時的 GPU 利用率。
- 支援 FP8 與 INT8 量化推理，在保持模型精度的同時，大幅降低了記憶體頻寬瓶頸。
- 整合了自定義的 Speculative Decoding（推測解碼）引擎，針對特定模型架構提供額外的延遲優化。
🔮 前景展望AI analysis grounded in cited sources
企業將大規模從專有模型遷移至開放模型。
隨著預留容量服務降低了開放模型的部署門檻與成本，企業將更傾向於選擇可控性更高的開源方案。
推理服務市場將出現價格戰。
Together AI 的高性價比定價策略將迫使雲端巨頭重新評估其專有模型的定價結構。
⏳ 時間線
2023-06
Together AI 完成 A 輪融資，正式推出去中心化雲端平台。
2024-03
發布 Together Inference Engine，標誌著其在推理效能上的技術突破。
2024-11
完成 1.06 億美元 B 輪融資，估值達到 12.5 億美元。
2025-05
擴展企業級 API 服務，開始支援大規模模型微調與部署。
2026-07
正式推出 Provisioned Throughput 服務，強化生產環境推理能力。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Together AI Blog ↗