🐯虎嗅•較早收集於 32m
推理晶片正在重塑AI算力格局
💡了解為何GPU壟斷正在瓦解，以及專用推理晶片如何成為AI效率的新標準。
⚡ 30-Second TL;DR
有什麼變化
推理正成為主要瓶頸，焦點從原始算力（FLOPs）轉向每瓦Token產出效率。
為什麼重要
此趨勢預示著向異構計算系統的轉變，其中GPU、LPU與CPU將結合以優化特定的AI工作負載。
下一步行動
評估您的推理工作負載是否能從Groq或客製化ASIC等專用硬體中受益，而非僅依賴標準GPU叢集。
誰應關注：Developers & AI Engineers
關鍵要點
- •推理正成為主要瓶頸，焦點從原始算力（FLOPs）轉向每瓦Token產出效率。
- •OpenAI、Anthropic與Google等公司正開發客製化ASIC，以處理預填充（prefill）與解碼（decode）等特定階段。
- •如Cerebras（晶圓級計算）與Groq（LPU）等新架構正興起，以解決多晶片系統中的通訊瓶頸。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •記憶體頻寬（HBM）的短缺已成為推理晶片設計的關鍵限制，促使廠商轉向採用更先進的封裝技術（如CoWoS）與異質整合架構。
- •邊緣AI（Edge AI）推理晶片市場正快速成長，特別是在車載與工業自動化領域，強調在離線環境下的低延遲處理能力。
- •軟體堆疊（Software Stack）的相容性已成為硬體廠商的護城河，如NVIDIA的CUDA生態系迫使新興ASIC廠商必須投入大量資源開發編譯器與模型轉換工具。
- •推理成本的優化已從單純的硬體加速，延伸至模型壓縮技術（如量化、剪枝與蒸餾）與硬體架構的協同設計（Co-design）。
- •能源效率法規與企業ESG目標，正推動資料中心優先採購每瓦效能（Performance-per-Watt）更高的推理專用晶片，而非僅追求峰值算力。
📊 競品分析▸ Show
| 特性/廠商 | NVIDIA (Blackwell) | Groq (LPU) | Cerebras (WSE-3) |
|---|---|---|---|
| 核心架構 | GPU (通用) | LPU (張量串流) | 晶圓級處理器 |
| 主要優勢 | 生態系完整、通用性高 | 極低延遲、推理速度快 | 記憶體頻寬極高、適合大模型 |
| 適用場景 | 訓練與推理混合負載 | 即時互動式AI | 超大型模型訓練與推理 |
🛠️ 技術深入
- 推理晶片架構設計重點在於降低記憶體存取延遲，透過將SRAM直接整合於運算單元附近（Near-memory computing）來解決記憶體牆問題。
- 針對Transformer架構的優化，現代推理ASIC多採用FP8或INT4等低精度運算格式，以在維持模型準確度的同時大幅提升吞吐量。
- 預填充（Prefill）階段主要受限於運算密度，而解碼（Decode）階段則受限於記憶體頻寬，專用晶片透過動態調整運算資源分配來平衡兩者。
- 互連技術（Interconnect）如NVLink或自研高速匯流排，對於多晶片並行推理至關重要，能有效減少模型切分後的通訊開銷。
🔮 前景展望AI analysis grounded in cited sources
通用GPU在純推理市場的市佔率將於2027年前下滑至60%以下。
隨著ASIC在特定推理任務上的成本效益比（TCO）優勢顯現，大型雲端服務供應商將加速轉向自研晶片。
推理晶片將全面轉向支援原生FP4與INT4運算。
為了進一步降低Token生成成本，硬體架構將針對低精度運算進行深度優化，以實現更高的每瓦效能。
⏳ 時間線
2023-09
Groq展示其LPU架構在Llama 2模型上的卓越推理速度，引發業界對專用推理晶片的關注。
2024-03
Cerebras發布WSE-3晶片，標誌著晶圓級計算在處理超大規模模型推理上的技術里程碑。
2025-06
多家雲端巨頭宣布其第二代自研AI推理晶片進入大規模部署階段，正式挑戰通用GPU地位。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： 虎嗅 ↗