英偉達 Groq 整合晶片供 OpenAI 推理

🔑 增強重點摘要

• •英偉達與 Groq 簽訂非獨家授權協議，取得 Groq 硬體與架構技術授權，並將 Groq CEO Jonathan Ross 及其核心團隊納入英偉達。[2]
• •Groq LPU 採用 144-way VLIW 設計，無外部 DDR 或 HBM 記憶體，僅使用 230 MB 板載 SRAM，適合單使用者高速度推理但需多機架運行大型模型如 Llama 70B。[2]
• •Groq 於 2016 年開創 LPU 技術，為首款專為推理設計的晶片，Jonathan Ross 來自 Google 原 TPU 團隊，第一代晶片於 2019 年發布，使用 Globalfoundries 製程。[2][3]

🛠️ 技術深入

• •Groq LPU 為大型 144-way VLIW 設計，與 Google TPU 的 8-way VLIW 陣列不同，使用 Globalfoundries 製程生產，成本低且易擴展。[2]
• •無外部記憶體設計，僅 230 MB SRAM 容量，導致運行 Llama 70B 等模型需 10 個機架及超過 100 kW 功率，但提供市場上最快的單使用者 token 每秒速度。[2]
• •第二代晶片計劃於 2025 年使用 Samsung Foundry 4nm (SF4X) 製程產生收入，2026 年擴大規模，但尚未見市場證據。[2]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線