🐯較早收集於 15m

英偉達LPU新品會擠壓HBM市場?

英偉達LPU新品會擠壓HBM市場?
PostLinkedIn
🐯閱讀原文: 虎嗅
#inference#sram#chip-designgroq-lpunvidiagroqlpuhbm

💡英偉達SRAM LPU:推理快20倍,威脅HBM還是互補?

⚡ 30-Second TL;DR

有什麼變化

英偉達3月16日GTC將揭曉Groq LPU,用於超低延遲推理。

為什麼重要

LPU可加速機器人/自動駕駛邊緣AI推理,多樣化選擇但保留HBM用於訓練/大型模型。傳聞中記憶體股波動,分析後反彈。

下一步行動

觀看英偉達GTC 3月18日(美時) keynote,比較LPU與HBM推理基準。

誰應關注:Enterprise & Security Teams

關鍵要點

  • 英偉達3月16日GTC將揭曉Groq LPU,用於超低延遲推理。
  • LPU片上整合數百Mb SRAM,存取速度比HBM快20倍。
  • 英偉達200億美元投資獲Groq團隊與非獨佔專利。
  • 相同容量SRAM需DRAM 5-10倍面積,限制擴展。
  • 黃仁勳:SRAM模型規模比HBM支援者小約100倍。

🧠 深度解析

背景與延伸:來自公開資料,非原文內容。引用 7 個來源。

🔑 增強重點摘要

  • 英偉達於2025年12月與Groq達成授權協議,並於聖誕前夕以200億美元收購Groq,獲得其團隊與編譯器技術[1][3]
  • 初始LPX機架整合64個LPU(封裝為32個RealScale ASIC晶片),結合確定性網路可在毫秒級延遲產生小批次token,Groq示範10,000個「thought tokens」僅需約2秒[1]
  • GTC 2026將推出升級LPX機架,擴展至每架256個LPU,搭配52層M9 Q-glass PCB與更大片上記憶體,定位為Rubin GPU的推理補充[1]
  • Groq LPU基於14nm製程,具類似TPU脈動陣列的資料流控制,英偉達收購後可移植至先進邏輯節點以增加SRAM容量[3]

🛠️ 技術深入

  • LPX機架使用RealScale ASIC晶片封裝,每LPU含數百MB片上SRAM,搭配確定性網路支援單批次/低批次推理與即時控制[1]
  • Groq LPU專注解碼階段(decode),具資料流控制能力類似脈動陣列,編譯器挑戰已由Groq團隊解決[3]
  • 未來LPX升級採用52層M9 Q-glass PCB、更大片上記憶體容量,與Feynman平台整合,可能使用TSMC 1.6nm製程[1][6]

🔮 前景展望AI analysis grounded in cited sources

LPX將擴展英偉達至推理基礎設施公司
類似2020年收購Mellanox轉型網路業務,此次Groq收購提供專用解碼硬體解決代理AI的推理速度瓶頸[3]
LPX定位補充而非取代GPU+HBM
專注超低延遲單小批次推理,與高吞吐量Rubin/Vera平台互補,擴大英偉達總可尋址市場[1][2]
LPX規模將從64擴至256 LPU/架
搭配新PCB與光學互連,提升長上下文推理與即時音視訊生成效能[1]

時間線

2025-12
英偉達與Groq達成授權協議並完成200億美元收購
2026-03
GTC 2026(3/16-19)揭曉LPX推理系統與Groq LPU
2026-03-03
英偉達官方宣布GTC 2026聚焦AI時代與推理效率
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: 虎嗅

這是摘要,不是原文。去看原站,或訂閱每週簡報。

每週 AI 簡報

每週一封,可隨時退訂。