📊Bloomberg Technology•較早收集於 25m
DeepInfra 獲 Nvidia 支持 1.07 億美元融資
💡Nvidia 支持新創募 1.07 億美元緩解 AI 運算瓶頸—對擴展推論至關重要。
⚡ 30-Second TL;DR
有什麼變化
DeepInfra 完成 1.07 億美元 B 輪融資
為什麼重要
此融資強化 DeepInfra 在 AI 推論基礎設施的擴張能力，可能降低 AI 從業人員面對運算短缺的成本與等待時間。這顯示產業對專門 AI 雲服務的強力支持。
下一步行動
測試 DeepInfra 的推論 API 來比較您的模型與主要雲端供應商的成本。
誰應關注：Developers & AI Engineers
關鍵要點
- •DeepInfra 完成 1.07 億美元 B 輪融資
- •主要投資者：Nvidia 和 Samsung
- •重點：透過雲端推論解決 AI 運算瓶頸
- •執行長 Nikola Borisov 接受 Bloomberg Tech 訪問
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •DeepInfra 的核心商業模式聚焦於提供「無伺服器推論」（Serverless Inference）服務，允許開發者以按需付費模式部署開源大型語言模型（LLM），顯著降低了企業進入 AI 應用的門檻。
- •此次 B 輪融資後，DeepInfra 的估值已突破 10 億美元大關，正式躋身 AI 基礎設施領域的「獨角獸」行列，顯示資本市場對 AI 推論層（Inference Layer）基礎設施的高度重視。
- •除了 Nvidia 與 Samsung 的戰略投資外，DeepInfra 計畫利用此筆資金擴大其全球 GPU 叢集規模，並針對特定垂直產業（如金融與醫療）開發專屬的低延遲推論優化技術。
📊 競品分析▸ Show
| 特色 | DeepInfra | Together AI | Fireworks AI |
|---|---|---|---|
| 核心定位 | 無伺服器推論平台 | 分散式訓練與推論 | 高效能推論引擎 |
| 定價模式 | 按 Token 計費 (極具競爭力) | 按 Token/小時計費 | 按 Token 計費 |
| 推論基準 | 優化開源模型 (Llama, Mistral) | 支援多種開源模型 | 專注於極致低延遲 |
🛠️ 技術深入
- 採用基於 vLLM 的優化推論引擎，透過 PagedAttention 技術顯著提升記憶體利用率與吞吐量。
- 支援動態批次處理（Dynamic Batching）與連續批次處理（Continuous Batching），有效降低高併發場景下的延遲。
- 提供與 OpenAI 相容的 API 介面，降低開發者從閉源模型遷移至開源模型的技術債。
- 基礎設施層面整合了多雲架構，並針對 Nvidia H100/A100 GPU 叢集進行了底層 CUDA 核心優化。
🔮 前景展望AI analysis grounded in cited sources
DeepInfra 將成為開源模型生態系與企業級應用之間的主要橋樑。
透過降低推論成本與技術複雜度，DeepInfra 加速了企業從依賴閉源 API 轉向自主部署開源模型的趨勢。
Nvidia 將透過 DeepInfra 進一步鞏固其在推論市場的軟硬體整合優勢。
投資 DeepInfra 有助於 Nvidia 確保其 GPU 叢集在雲端推論市場的市佔率，並透過軟體優化提升硬體效能表現。
⏳ 時間線
2023-01
DeepInfra 正式推出其雲端推論平台，主打低成本開源模型部署。
2024-05
完成 A 輪融資，開始擴大其 GPU 基礎設施並支援更多主流開源模型。
2026-05
完成 1.07 億美元 B 輪融資，由 Nvidia 與 Samsung 領投，估值突破 10 億美元。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Bloomberg Technology ↗