📊Bloomberg Technology•最新收集於 36m
AWS 看好龐大的 AI 推論商機
💡AWS 預期 AI 成長將從模型訓練轉向龐大的實際推論需求。
⚡ 30-Second TL;DR
有什麼變化
AWS 客戶正從 AI 模型訓練轉向將 AI 部署到實際企業流程中。
為什麼重要
轉向推論顯示，雲端 AI 的長期成長可能越來越依賴生產環境使用，而不只是模型訓練。隨著 AI 功能嵌入日常工作流程，企業可能需要更重視延遲、成本與擴展性最佳化。
下一步行動
在擴大部署前，先於 AWS 上測試生產模型服務的延遲、吞吐量與單次推論成本。
誰應關注：Enterprise & Security Teams
關鍵要點
- •AWS 客戶正從 AI 模型訓練轉向將 AI 部署到實際企業流程中。
- •這項轉型正在增加 AI 推論工作負載的需求。
- •AWS 認為 AI 業務的潛在規模極為龐大。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •AWS 透過自研晶片 Trainium 與 Inferentia 積極降低推論成本，旨在提供比傳統 GPU 更具成本效益的解決方案。
- •AWS 推出 Amazon Bedrock 平台，允許企業透過 API 存取多種基礎模型，大幅降低企業部署 AI 推論的技術門檻。
- •市場分析顯示，AI 推論市場的營收規模預計將在未來幾年內超越模型訓練，成為雲端服務供應商的主要成長引擎。
- •AWS 正強化其無伺服器（Serverless）推論服務，讓客戶能根據即時流量自動擴展資源，進一步優化推論運作的能源效率。
- •除了大型語言模型，AWS 亦針對邊緣運算與特定產業應用（如醫療影像分析）優化推論架構，以滿足低延遲需求。
📊 競品分析▸ Show
| 特色/比較 | AWS (Inferentia/Trainium) | Microsoft Azure (Maia) | Google Cloud (TPU) |
|---|---|---|---|
| 核心晶片 | Inferentia2 / Trainium2 | Azure Maia 100 | TPU v5p |
| 定價策略 | 強調性價比與自研晶片成本優勢 | 深度整合 OpenAI 模型與企業授權 | 強調大規模訓練與推論的效能表現 |
| 生態系 | Amazon Bedrock (多模型支援) | Azure AI Studio (OpenAI 優先) | Vertex AI (Gemini 優先) |
🛠️ 技術深入
- Inferentia2 晶片專為高吞吐量、低延遲的推論工作負載設計，支援大規模模型並行處理。
- 採用 Neuron SDK 作為軟體堆疊，優化模型編譯與執行效率，支援 PyTorch 與 TensorFlow 框架。
- 支援 FP8 與混合精度運算，在維持模型準確度的同時顯著提升推論速度。
- 透過 AWS Nitro System 實現硬體虛擬化加速，減少虛擬化帶來的效能損耗。
🔮 前景展望AI analysis grounded in cited sources
AI 推論營收將佔據 AWS 雲端運算營收的 40% 以上。
隨著企業從實驗階段轉向全面生產部署，推論運算的需求將呈現指數級增長，超越一次性的模型訓練需求。
自研晶片將成為 AWS 雲端毛利率提升的關鍵。
透過減少對外部 GPU 供應商的依賴並優化能源使用效率，AWS 能有效降低每單位推論的運算成本。
⏳ 時間線
2018-11
AWS 發表首款自研 AI 推論晶片 AWS Inferentia。
2020-12
AWS 推出 Trainium 晶片，專注於高效能模型訓練。
2023-04
AWS 正式推出 Amazon Bedrock，提供生成式 AI 應用開發平台。
2023-11
AWS 發布第二代自研晶片 Trainium2 與 Inferentia2。
2025-06
AWS 宣布其 AI 推論服務在全球區域的部署規模達到歷史新高。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Bloomberg Technology ↗