🐯虎嗅•較早收集於 8m
ASICs於AI推理崛起對抗GPUs
💡AI運算成本轉變：ASICs推理功耗減90%對抗GPUs（28字）
⚡ 30-Second TL;DR
有什麼變化
ASICs於固定演算法推理速度優異，但目前僅限少數模型。
為什麼重要
降低AI部署推理成本，壓縮Nvidia主導地位，GPUs則鞏固訓練護城河。中小企業受益於Nvidia生態快速擴展。
下一步行動
針對固定模型工作負載，基準測試Groq推理對比Nvidia A100。
誰應關注：Enterprise & Security Teams
關鍵要點
- •ASICs於固定演算法推理速度優異，但目前僅限少數模型。
- •GPUs因高靈活性及互聯需求無法被ASIC取代於LLM訓練。
- •如Google/AWS等雲巨頭需夥伴支援ASIC物理層如SerDes。
- •短期：GPUs訓練、ASICs推理；長期趨勢持續。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •ASIC 推理晶片正透過存內計算（In-Memory Computing）技術進一步降低數據搬移帶來的功耗，這與傳統 GPU 依賴 HBM 頻寬的架構形成顯著差異。
- •軟體堆疊（Software Stack）的成熟度已成為 ASIC 普及的最大瓶頸，目前市場正從單純的硬體競爭轉向編譯器（Compiler）優化能力的競爭，以解決對特定模型架構的過度依賴。
- •隨著邊緣 AI（Edge AI）需求激增，ASIC 廠商正積極將推理能力下放至終端設備，這與雲端 GPU 集中式處理的模式產生了市場區隔。
📊 競品分析▸ Show
| 特性 | GPU (如 Nvidia Blackwell) | ASIC (如 Groq LPU) | 專用 AI 加速器 (如 Google TPU) |
|---|---|---|---|
| 靈活性 | 極高 (支援多種框架與模型) | 低 (針對特定架構優化) | 中 (針對 Transformer 架構優化) |
| 推理功耗 | 高 | 極低 | 中低 |
| 開發成本 | 低 (生態系完善) | 極高 (需客製化軟體堆疊) | 高 (需雲端基礎設施配合) |
| 主要場景 | LLM 訓練與通用推理 | 即時低延遲推理 | 大規模雲端推理 |
🛠️ 技術深入
- 架構差異：GPU 採用 SIMT（單指令多執行緒）架構，適合並行計算；ASIC（如 Groq）採用確定性架構（Deterministic Architecture），消除快取與分支預測帶來的延遲抖動。
- 互聯技術：雲端 ASIC 依賴高速 SerDes 技術與 Chiplet 設計，以解決多晶片互聯時的頻寬瓶頸，這也是 Marvell 與 Broadcom 在此領域的核心價值。
- 記憶體架構：ASIC 推理晶片常採用 SRAM 作為片上記憶體，以取代 GPU 昂貴且耗電的 HBM，從而實現極致的推理速度。
🔮 前景展望AI analysis grounded in cited sources
2027 年前，推理市場將出現『軟體定義硬體』的整合趨勢。
為了克服 ASIC 靈活性不足的問題，廠商將開發更強大的編譯器，使 ASIC 能在不更動硬體的情況下支援更多變化的模型架構。
Nvidia 將在 2026 年底前推出針對推理優化的專用 ASIC 產品線。
面對 ASIC 在推理市場的侵蝕，Nvidia 必須透過推出專用晶片來保護其在推理市場的市佔率，以維持其生態系的完整性。
⏳ 時間線
2016-05
Google 正式發布第一代 TPU，標誌著雲端巨頭自研 AI ASIC 的開端。
2023-11
Groq 憑藉其 LPU 架構在 LLM 推理速度上取得突破，引起市場對 ASIC 推理的廣泛關注。
2025-02
Marvell 與 Broadcom 宣布擴大與雲端服務供應商的 ASIC 客製化合作，推動 AI 推理晶片進入大規模量產階段。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： 虎嗅 ↗