🔧Tom's Hardware•最新收集於 23m
d-Matrix 將 AI 運算堆疊於 DRAM 之上
#ai-accelerator#3d-dram#generative-inference#memory-bandwidthd-matrix-raptord-matrixraptortsmc
💡全新加速器設計透過將 AI 運算直接鍵合至 DRAM，瞄準 100 TB/s 頻寬。
⚡ 30-Second TL;DR
有什麼變化
Raptor 被定位為用於生成式 AI 推論的 3D DRAM 加速器。
為什麼重要
運算與記憶體的直接整合，可能降低高吞吐量推論中的資料搬移瓶頸。若這些效能宣稱能轉化為可部署產品，該方法可能對傳統加速器與記憶體架構形成壓力。
下一步行動
請使用類似 roofline model 的推論基準測試，確認模型是否受記憶體頻寬限制，再將結果與 Raptor 宣稱的 100 TB/s 目標比較。
誰應關注：Researchers & Academics
關鍵要點
- •Raptor 被定位為用於生成式 AI 推論的 3D DRAM 加速器。
- •TSMC 4nm 運算晶粒以面對面方式鍵合在客製化 DRAM 晶粒上。
- •該設計採用 36 微米鍵合間距，目標是每張卡達到 100 TB/s。
🧠 深度解析
背景與延伸：來自公開資料，非原文內容。引用 11 個來源。
🔑 增強重點摘要
- •d-Matrix 於 2025 年 11 月完成 2.75 億美元的 C 輪融資，由淡馬錫（Temasek）與 Jeff Huber 等投資人領投。
- •Raptor 架構採用特殊的堆疊順序，將運算晶粒置於頂層，使冷卻板能直接接觸運算矽晶片以提升散熱效率。
- •該公司於 2026 年 6 月正式將其旗艦級 Corsair 推論平台投入全面量產。
- •d-Matrix 的核心技術基礎為數位記憶體內運算（Digital In-Memory Computing, DIMC）與小晶片（Chiplet）架構。
- •Raptor 設計利用 DRAM 晶粒作為中介層，透過矽穿孔（TSV）技術處理 PCIe 及晶片間訊號傳輸。
📊 競品分析▸ Show
| 特色/產品 | d-Matrix Raptor | NVIDIA Blackwell (B200) | Groq LPU |
|---|---|---|---|
| 核心架構 | 3D 堆疊 DRAM + 運算晶粒 | HBM3e + GPU 運算單元 | SRAM 密集型架構 |
| 主要優勢 | 極高記憶體頻寬 (100 TB/s) | 生態系完整、通用性高 | 極低延遲推論 |
| 價格/定位 | 專用推論/高能源效率 | 高階通用 AI 運算 | 即時推論服務 |
🛠️ 技術深入
- 採用面對面（Face-to-Face）鍵合技術，鍵合間距為 36 微米。
- 運算晶粒位於頂層，DRAM 位於底層，DRAM 兼具中介層功能以路由訊號。
- 透過消除傳統長距離物理介面，大幅降低記憶體牆（Memory Wall）效應。
- 軟體生態系由 Aviator 堆疊支援，旨在無縫整合企業級開發工作流。
- 專注於生成式 AI 推論，透過 DIMC 技術提升能源效率。
🔮 前景展望AI analysis grounded in cited sources
d-Matrix 將顯著降低大型語言模型（LLM）的推論營運成本。
透過 100 TB/s 的超高頻寬與 DIMC 技術，能以更低的功耗處理更龐大的模型參數。
3D 堆疊 DRAM 設計將成為未來 AI 推論晶片的標準配置。
Raptor 的成功驗證了將記憶體與運算單元垂直整合能有效解決傳統架構的頻寬瓶頸。
⏳ 時間線
2019-01
Sid Sheth 與 Sudeep Bhoja 共同創立 d-Matrix。
2025-11
完成 2.75 億美元 C 輪融資。
2026-06
旗艦級 Corsair 推論平台正式進入全面量產階段。
2026-08
於 Hot Chips 2026 大會發表 Raptor 3D DRAM 加速器架構。
📎 來源 (11)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Tom's Hardware ↗
每週 AI 簡報
每週一封，可隨時退訂。