🌍The Next Web (TNW)•最新收集於 74m
Nvidia 與競爭對手 d-Matrix 合作開發 AI 推論系統
💡Nvidia 透過與專注於推論的新創公司合作，優化 AI 模型的部署。
⚡ 30-Second TL;DR
有什麼變化
Nvidia 正在將 d-Matrix 的推論晶片整合至其硬體中
為什麼重要
此合作標誌著 Nvidia 策略的轉變，承認專業推論新創公司可以在特定的 AI 工作負載中與其 GPU 主導地位形成互補。
下一步行動
評估 d-Matrix 的推論效能基準與標準 H100 配置的差異，看看您的 AI 應用是否能從混合架構中受益。
誰應關注：Developers & AI Engineers
關鍵要點
- •Nvidia 正在將 d-Matrix 的推論晶片整合至其硬體中
- •該聯合系統專為執行 AI 模型而設計
- •Parasail 已確認成為該系統的首位客戶
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •d-Matrix 的核心技術在於其數位記憶體內運算（Digital In-Memory Computing, DIMC）架構，旨在顯著降低生成式 AI 推論的功耗與延遲。
- •此次合作並非單純的硬體堆疊，而是透過 Nvidia 的軟體生態系統（如 TensorRT）與 d-Matrix 的晶片架構進行深度軟硬體整合。
- •d-Matrix 的技術特別針對 Transformer 模型進行了優化，能夠在處理大型語言模型（LLM）時提供比傳統 GPU 更高的能源效率。
- •該合作案顯示 Nvidia 採取「混合架構」策略，透過與專用推論晶片新創合作，補足其在超大規模推論市場的特定能效需求。
- •Parasail 平台是 d-Matrix 的旗艦產品，採用小晶片（Chiplet）設計，允許客戶根據推論需求靈活擴展運算能力。
📊 競品分析▸ Show
| 特性 | d-Matrix (Parasail) | Nvidia (L40S/H100) | Groq (LPU) |
|---|---|---|---|
| 核心架構 | 數位記憶體內運算 (DIMC) | GPU (CUDA) | LPU (張量串流處理器) |
| 主要優勢 | 極致能效比 (推論) | 生態系完整、通用性強 | 極低延遲、高吞吐量 |
| 適用場景 | 邊緣與雲端推論 | 訓練與通用推論 | 即時生成式 AI 應用 |
🛠️ 技術深入
- 採用數位記憶體內運算 (DIMC) 技術，將運算單元直接置於記憶體陣列中，減少資料搬移造成的功耗。
- 支援 FP8 與 INT8 等低精度運算格式，以最大化推論吞吐量。
- 採用 Chiplet 小晶片架構，透過高速互連技術實現模組化擴展。
- 針對 Transformer 架構中的注意力機制 (Attention Mechanism) 進行硬體級加速。
🔮 前景展望AI analysis grounded in cited sources
Nvidia 將進一步擴大其 AI 推論生態系的異質整合。
透過與 d-Matrix 等專用晶片公司合作，Nvidia 能夠在不犧牲 GPU 通用性的前提下，針對特定推論任務提供更具成本效益的解決方案。
記憶體內運算技術將成為未來 AI 推論晶片的主流競爭點。
隨著模型規模擴大，記憶體頻寬瓶頸日益嚴重，d-Matrix 的 DIMC 架構證明了在特定推論場景下，能效表現優於傳統架構。
⏳ 時間線
2023-09
d-Matrix 完成 1.1 億美元 B 輪融資，由淡馬錫領投，Nvidia 參與投資。
2024-05
d-Matrix 正式推出 Parasail 推論運算平台，展示其在生成式 AI 推論的能效優勢。
2025-02
d-Matrix 與 Nvidia 展開技術整合測試，針對特定資料中心推論負載進行優化。
2026-03
雙方確認將聯合系統推向商業化部署，並確認 Parasail 為首位客戶。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： The Next Web (TNW) ↗