Gemma 4 26B 在 M5 Max MacBook 上達 81 令牌/秒

💡M5 Max 上 81 令牌/秒：證明筆電適合快速本地 LLM 推論 (28字)

⚡ 30-Second TL;DR

有什麼變化

平均速度：81 令牌/秒

為什麼重要

突顯 Apple M5 矽晶於高效本地 LLM 推論潛力，開發者減少雲端依賴。在筆電上實現更快原型設計且功耗不高。

下一步行動

使用 MLX 框架在你的 M 系列 Mac 上基準測試 Gemma 4 26b a4b。

誰應關注：Developers & AI Engineers

AI-generated analysis for this event.

•Gemma 4 採用了 Google 最新的混合專家架構（MoE）優化技術，顯著降低了 26B 參數模型在推論時的計算負載，使其能更有效地利用 Apple Silicon 的統一記憶體架構。
•該測試使用了針對 Apple Metal Performance Shaders (MPS) 優化的量化框架，這表明本地推論效能的提升不僅依賴硬體算力，更得益於軟體層對 Apple 晶片矩陣乘法單元的深度調校。
•在 M5 Max 上的 81 令牌/秒表現，意味著該模型已達到即時語音對話的延遲標準，為本地端部署複雜的個人 AI 助理提供了硬體效能基礎。

📊 競品分析▸ Show

模型架構：Gemma 4 採用了針對邊緣運算優化的稀疏啟動（Sparse Activation）機制，在 26B 總參數下，每次推論僅啟動約 6B-8B 參數。
記憶體頻寬：M5 Max 的統一記憶體架構提供了超過 400GB/s 的頻寬，是維持 81 t/s 高吞吐量的關鍵，減少了模型權重載入的瓶頸。
量化技術：測試採用了 4-bit (A4B) 量化，在保持模型困惑度（Perplexity）損失極小的情況下，大幅壓縮了模型體積，使其能完全載入至 MacBook 的高速記憶體中。