Search

Tag: #data-center478 results

ASICs於AI推理崛起對抗GPUs

ASICs於AI推理崛起對抗GPUs

ASICs因成本較低及功耗僅GPU的1/10而在推理中崛起,適合如Groq僅支援25種模型的固定場景。GPUs主導訓練,尤其是LLM,因靈活性及依賴Nvidia生態。中大型雲廠與Marvell/Broadcom合作開發ASIC。

虎嗅MediaMar 24#asic#inference#training
Page 44 of 48