🇨🇳cnBeta (Full RSS)•最新收集於 8h
Nvidia 與 d-Matrix 合作開發 AI 推論系統
💡Nvidia 罕見地與競爭對手合作，顯示其在 AI 推論硬體策略上的重大轉變。
⚡ 30-Second TL;DR
有什麼變化
Nvidia 採取合作策略以應對 AI 伺服器晶片市場日益激烈的競爭。
為什麼重要
此舉顯示 Nvidia 願意採取更開放、異質化的硬體策略，以維持在推論市場的統治地位。這可能會降低專業 AI 晶片新創公司整合至現有資料中心工作流程的門檻。
下一步行動
監控 d-Matrix 整合後的效能基準測試，評估其是否能為您的推論管線提供具成本效益的替代方案。
誰應關注：Developers & AI Engineers
關鍵要點
- •Nvidia 採取合作策略以應對 AI 伺服器晶片市場日益激烈的競爭。
- •合作重點在於將 d-Matrix 的硬體與 Nvidia 的生態系統進行整合。
- •該聯合解決方案專為大型語言模型 (LLM) 的推論工作負載進行了優化。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •d-Matrix 的核心技術在於其數位記憶體內運算（Digital In-Memory Computing, DIMC）架構，旨在顯著降低推論時的能耗與延遲。
- •此次合作涉及將 d-Matrix 的 Corsair 平台與 Nvidia 的軟體堆疊（如 TensorRT-LLM）進行互操作性整合。
- •d-Matrix 在 2023 年獲得了由 Microsoft 領投的 1.1 億美元 B 輪融資，顯示其技術路線獲得大型雲端服務供應商的認可。
- •該合作旨在解決生成式 AI 推論中常見的記憶體頻寬瓶頸問題，特別是針對高吞吐量的 LLM 服務場景。
- •Nvidia 透過此類合作，意在將其 GPU 資源釋放給更複雜的訓練任務，而將高頻率的推論任務分流至專用架構晶片。
📊 競品分析▸ Show
| 特性 | d-Matrix (Corsair) | Groq (LPU) | Nvidia (L40S/H100) |
|---|---|---|---|
| 核心架構 | 數位記憶體內運算 (DIMC) | 確定性張量串流處理器 | 通用 GPU (CUDA) |
| 推論優勢 | 極低能耗與高能源效率 | 極高吞吐量與低延遲 | 生態系統完整性與通用性 |
| 目標市場 | 邊緣與資料中心推論 | 即時 AI 推論服務 | 全方位 AI 訓練與推論 |
🛠️ 技術深入
- d-Matrix 採用 Corsair 架構，利用數位記憶體內運算技術，直接在記憶體陣列中執行矩陣乘法，減少資料搬移帶來的能耗。
- 支援多種精度格式，包括 FP8 和 INT8，以優化 LLM 推論的計算密度。
- 透過 Chiplet（小晶片）設計，允許靈活擴展運算單元以適應不同規模的 LLM 模型。
- 整合 Nvidia 的軟體生態，確保開發者能透過現有的模型轉換工具將模型部署至 d-Matrix 硬體上。
🔮 前景展望AI analysis grounded in cited sources
Nvidia 將逐步轉向『異質運算』策略以維持市場主導地位。
透過整合專用推論晶片，Nvidia 能在不增加自身 GPU 生產壓力的情況下，擴大其在 AI 推論市場的佔有率。
記憶體內運算技術將成為未來兩年資料中心推論的主流架構之一。
隨著 LLM 模型參數持續增加，傳統馮紐曼架構的記憶體頻寬限制已成為推論成本的主要瓶頸。
⏳ 時間線
2019-01
d-Matrix 成立，專注於開發用於 AI 推論的記憶體內運算晶片。
2023-09
d-Matrix 完成 1.1 億美元 B 輪融資，由 Microsoft 領投。
2024-05
d-Matrix 正式發布 Corsair 運算平台，針對生成式 AI 推論進行優化。
2026-06
Nvidia 與 d-Matrix 宣布合作，共同開發針對 LLM 推論的整合解決方案。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： cnBeta (Full RSS) ↗