🐯虎嗅•較早收集於 25m
AI 硬體加速：GPU、TPU 至 LPU 演進
💡GPU/TPU/ASIC 權衡深度剖析，優化 AI 訓練/推理堆疊（32 字元）
⚡ 30-Second TL;DR
有什麼變化
GPU 利用 SIMT、深度多執行緒實現矩陣並行與 CUDA 生態
為什麼重要
引導 AI 工作負載硬體選擇，強調無絕對最佳—影響模型訓練成本與推理部署。
下一步行動
於 TPU Pod 基準測試 Transformer 模型，以改善 KV 快取處理。
誰應關注：Researchers & Academics
關鍵要點
- •GPU 利用 SIMT、深度多執行緒實現矩陣並行與 CUDA 生態
- •TPU 脈動陣列最大化稠密張量重用，適合 CNN 但 Transformer 具挑戰
- •ASIC 硬連線資料流，於固定運算如卷積達峰值效率
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •LPU（語言處理單元）架構透過消除傳統 GPU 的記憶體存取瓶頸，採用確定性排程技術，專為解決大型語言模型（LLM）推理中的延遲問題而設計。
- •隨著 AI 模型參數規模擴大，記憶體頻寬（HBM）已成為限制運算效能的關鍵瓶頸，促使硬體設計轉向以記憶體為中心的架構（Memory-Centric Architecture）。
- •異質運算（Heterogeneous Computing）趨勢顯現，未來 AI 基礎設施將整合 CPU、GPU、NPU 與專用加速器，透過軟體編譯器層級的自動化調度來優化不同負載的執行效率。
📊 競品分析▸ Show
| 特性 | GPU (如 NVIDIA H100) | TPU (如 Google TPU v5p) | LPU (如 Groq LPU) |
|---|---|---|---|
| 核心架構 | SIMT 並行運算 | 脈動陣列 (Systolic Array) | 單核心串流處理 (Single-core Streaming) |
| 主要優勢 | 生態系完整、通用性高 | 稠密矩陣運算效率極高 | 推理延遲極低、確定性高 |
| 適用場景 | 模型訓練與通用推理 | 大規模模型訓練 | 即時 LLM 推理 |
| 記憶體架構 | 高頻寬記憶體 (HBM) | 高頻寬記憶體 (HBM) | SRAM (晶片內記憶體) |
🛠️ 技術深入
- LPU 確定性架構：不同於 GPU 依賴複雜的快取與排程機制，LPU 透過編譯器預先計算資料流路徑，實現運算時間的完全可預測性。
- 脈動陣列 (Systolic Array) 限制：TPU 的脈動陣列在處理 Transformer 架構中的注意力機制（Attention Mechanism）時，因頻繁的記憶體存取與非矩陣運算，導致利用率（Utilization）下降。
- 量化技術演進：從 FP32 到 FP8、INT8 甚至 FP4 的演進，不僅降低了記憶體佔用，更透過減少資料搬移次數，直接提升了硬體加速器的有效吞吐量。
🔮 前景展望AI analysis grounded in cited sources
專用推理晶片將在邊緣運算市場取代通用 GPU。
邊緣裝置對功耗與延遲的極致要求，使得針對特定模型架構優化的 ASIC 方案比通用 GPU 更具經濟效益。
軟體編譯器將成為 AI 硬體競爭力的核心。
硬體架構趨於同質化後，如何透過編譯器將模型圖（Model Graph）高效映射至硬體資源，成為決定效能的關鍵。
⏳ 時間線
2016-05
Google 於 I/O 大會首次發表第一代 TPU，專注於加速 TensorFlow 運算。
2017-06
Transformer 架構論文發表，改變了 AI 模型對硬體並行運算的需求模式。
2020-05
NVIDIA 發布 Ampere 架構 GPU，引入 Tensor Core 加速稀疏矩陣運算。
2024-02
Groq 憑藉 LPU 推理效能展示在社群媒體引發廣泛關注，凸顯推理專用晶片價值。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： 虎嗅 ↗