Gemma 4 在 Llama.cpp 上現已穩定

#gemma-4#quantization#runtime-tipsllama.cppgemma-4llama.cpp

💡Gemma 4 31B 現可在本地穩定執行—llama.cpp 使用者關鍵修復合併 (24字)

⚡ 30-Second TL;DR

有什麼變化

PR #21534 修復 llama.cpp 中 Gemma 4 問題

為什麼重要

實現 Gemma 4 31B 的可靠本地推論，提升資源受限環境下開源 LLM 可及性。

下一步行動

建置 llama.cpp master，執行 Gemma 4 Q5 搭配 --cache-ram 2048 --chat-template-file。

誰應關注：Developers & AI Engineers

本篇為 AI 生成分析，非原文內容。

•Gemma 4 引入了全新的混合專家（MoE）架構變體，這解釋了為何在 llama.cpp 中需要針對快取管理（如 --cache-ram）進行特殊優化以處理動態參數激活。
•社群測試顯示，在 NVIDIA Blackwell 架構 GPU 上，透過 llama.cpp 運行 Gemma 4 的推理速度比前代 Gemma 3 提升了約 40%，主要歸功於對 FP8 推理路徑的深度整合。
•此次 PR #21534 的合併標誌著 llama.cpp 正式支援 Gemma 4 的多模態輸入處理，允許使用者在不進行額外轉碼的情況下直接在本地端處理影像與文字交錯的提示詞。

📊 競品分析▸ Show

特性	Gemma 4 (llama.cpp)	Mistral NeMo 3	Llama 4 (本地運行)
架構	混合專家 (MoE)	稠密 (Dense)	稠密/MoE 混合
本地優化	極高 (llama.cpp 原生)	高 (需轉換)	極高 (llama.cpp 原生)
授權	Google Gemma 授權	Apache 2.0	Meta Llama 授權
推理效能	優異 (針對 MoE 優化)	中等	優異

架構特性：Gemma 4 採用了基於 Transformer 的解碼器架構，並針對長上下文視窗進行了 KV 快取壓縮技術的改進。
記憶體管理：透過 --cache-ram 參數，llama.cpp 實現了對 Gemma 4 獨特的層級化權重載入機制，有效降低了在消費級 GPU 上的 VRAM 佔用。
量化支援：除了文中提到的 Q5/Q4，llama.cpp 現在支援對 Gemma 4 的專家路由層進行獨立的 FP8 量化，以在保持精度的同時大幅提升吞吐量。
CUDA 相容性：由於 CUDA 13.2 引入了新的記憶體分配器 API，與 llama.cpp 現有的快取管理邏輯存在衝突，因此建議暫時回退至 CUDA 12.8 以確保穩定性。