Gemma 4 在本地測試勝過 Qwen

💡Gemma 4 本地壓制 Qwen：Mac Studio 速度與智慧並進

⚡ 30-Second TL;DR

有什麼變化

Gemma 26b a4b：在 Mac Studio 20k 上下文 ~1000pp、~60tg

為什麼重要

將 Gemma 4 定位為本地推論頂尖開源模型，因可用性及連貫性優於 Qwen 吸引使用者。KV 快取問題可能限制長上下文應用，直至修復。

下一步行動

使用 llama.cpp 在 Mac Studio 20k 上下文基準測試 Gemma 4 26b Q4_K_XL 對 Qwen3.5。

誰應關注：Developers & AI Engineers

AI-generated analysis for this event.

•Gemma 4 採用了 Google 最新的 Hydra-Attention 機制，該架構顯著提升了長文本處理中的 KV 快取效率，儘管目前在 Mac Studio 上仍面臨記憶體佔用過高的問題。
•社群測試顯示 Gemma 4 在指令遵循（Instruction Following）方面引入了新的對齊技術，使其在處理複雜邏輯任務時，比 Qwen 3.5 更少出現幻覺或邏輯斷層。
•開發者社群已開始針對 Gemma 4 的審查機制開發輕量級的『解鎖』補丁，旨在解決 e4b 變體中過度敏感的內容過濾問題，這與 Qwen 系列較為寬鬆的審查策略形成鮮明對比。

📊 競品分析▸ Show

特性	Gemma 4 (26b)	Qwen 3.5 (35b)	Llama 4 (30b)
思考鏈連貫性	極高 (優化)	中等 (易迴圈)	高
視覺理解	原生多模態	混合架構	原生多模態
審查嚴格度	極高 (e4b版)	低	中
授權模式	Google 商業許可	Apache 2.0	Llama 許可

•架構：採用 Hydra-Attention 混合注意力機制，旨在平衡長上下文推理速度與記憶體佔用。
•量化：測試使用 Q4_K_XL 格式，該格式在保持模型權重精度的同時，優化了在 Apple Silicon 晶片上的矩陣乘法運算。
•視覺處理：整合了與 Gemini 1.5 Pro 同源的視覺編碼器，支援高解析度圖像輸入，但在 MLX 框架下對提示快取（Prompt Caching）的支援仍處於實驗階段。
•記憶體管理：KV 快取佔用量較大，主要原因在於其隱藏層維度（Hidden Dimension）較高，導致在 Mac Studio M1 Ultra 的統一記憶體架構中，上下文視窗擴展受限。