NVIDIA GTC：關注LPU及供應鏈核心企業

🔑 增強重點摘要

• •NVIDIA以200億美元收購Groq資產，為其史上最大交易，支付Groq上次69億美元估值的2.9倍溢價，並獲取創辦人Jonathan Ross（Google TPU原設計師）團隊。[1][2][3]
• •Groq LPU採用片上SRAM記憶體，頻寬超過80 TB/s，比GPU的HBM高10倍，並具完全確定性計算，消除GPU資源爭用延遲。[2][4][6]
• •獨立基準測試顯示Groq LPU在Llama 2-70B模型達241 tokens/s，內部測試300 tokens/s，生成100 tokens僅需0.8秒，為推理提供2-3倍加速。[2][3]
• •LPU設計先開發自動化編譯器再建晶片，避免手動kernel優化，每個token路徑預定，能量效率高10倍（0.3 pJ/bit vs GPU 6 pJ/bit），無需液冷。[6]
• •交易為資產收購而非全併購，避免反壟斷審查，並計劃將LPU整合至Rubin平台及AI Factory架構，補足GPU在低延遲推理的弱點。[1][3][4]

🛠️ 技術深入

• •Groq LPU使用片上SRAM（單晶片230MB），無HBM外部記憶體，存取速度比HBM快達100倍，零擷取時間。[6]
• •內部頻寬達雙位數TB/s範圍，專為decode階段最小化開銷，支援確定性低延遲token輸出。[4]
• •自動化編譯器主導設計，預定所有token執行路徑，無需NVIDIA式手動低階組譯優化。[6]
• •能量效率：SRAM存取0.3 pJ/bit，對比GPU HBM至核心的6 pJ/bit，高10倍能量效率，且不需液冷。[6]
• •基準：在Meta Llama 2-70B模型，241 tokens/s（獨立測試）至300 tokens/s（內部），100 tokens生成0.8秒。[2]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線