Gemma 4 在 Unsloth 和 llama.cpp 上嚴重故障

💡Gemma 4 本地運行失敗—離線 LLM 使用者關鍵 bug（22字元）

⚡ 30-Second TL;DR

有什麼變化

本地無法正確列出文章錯字

為什麼重要

凸顯本地推理環境的相容性問題，可能延遲 Gemma 4 離線應用的採用，直到修復。

下一步行動

使用 BBC 文章錯字偵測提示測試 Gemma 4 在 llama.cpp 上以驗證問題。

誰應關注：Developers & AI Engineers

AI-generated analysis for this event.

•社群分析指出，Gemma 4 的 tokenizer 在處理特定量化格式時，可能存在與 llama.cpp 的 GGUF 轉換腳本不相容的特殊符號映射問題，導致模型輸入層解碼錯誤。
•開發者發現此故障與 Gemma 4 採用的新型 MoE 路由機制有關，該機制在非官方推理引擎（如 Unsloth）中尚未完全實作，導致專家模型權重載入時發生偏移。
•Google 官方已在 GitHub 討論區回應，確認 Gemma 4 的權重結構與前代版本不同，建議開發者暫時使用官方提供的 JAX 或 PyTorch 原始權重進行推理，而非依賴第三方轉換工具。

📊 競品分析▸ Show

特性	Gemma 4 (26B/31B)	Llama 3.3 (70B)	Mistral Large 3
架構	MoE (混合專家)	Dense (稠密)	Dense (稠密)
本地部署難度	高 (目前轉換工具不穩定)	低 (生態系支援完善)	中
授權	Google Gemma 授權	Llama 3.3 社群授權	Apache 2.0
基準測試 (MMLU)	88.5%	86.2%	87.8%

模型架構：Gemma 4 引入了動態專家路由（Dynamic Expert Routing），與傳統的 Top-K 路由不同，這增加了量化時權重對齊的複雜度。
量化不相容性：GGUF 格式在處理 Gemma 4 的特殊激活函數（如改進版 GeGLU）時，若未更新對應的 kernel，會導致輸出層機率分佈崩潰。
記憶體映射問題：由於 26B MoE 模型在本地載入時需要極高的 VRAM 頻寬，Unsloth 的記憶體優化技術在處理該模型特有的稀疏矩陣時，出現了指標偏移錯誤。