Gemma 4 出現系統性注意力漂移

💡Gemma 4 注意力機制故障證據—部署前測試本地模型 (18字)

⚡ 30-Second TL;DR

有什麼變化

偵測到 29 個張量有 KL 漂移，其中 21 個在注意力層 (attn_k、attn_q、attn_v)

為什麼重要

這暴露 Gemma 4 在生產環境的潛在可靠性問題，敦促使用者驗證注意力完整性。可能影響本地部署的微調與推論穩定性。

下一步行動

從 pastebin.com/7SDqaMqA 下載診斷日誌，並在你的 Gemma 4 量化模型上執行。

誰應關注：Researchers & Academics

AI-generated analysis for this event.

•該問題主要集中在 Google Gemma 4 26B 的 A4B（All-4-Bits）量化版本，顯示出在特定位元寬度下，權重分佈與原始 FP16 模型存在顯著的統計學偏差。
•社群分析指出，此類注意力漂移可能源於量化過程中對注意力權重矩陣（Attention Projection Matrices）的敏感度估算不足，導致在推理階段產生累積性的數值不穩定。
•此發現引發了關於開源模型發布前驗證流程的討論，特別是針對量化後模型在極端數值分佈下的魯棒性測試標準尚未統一。

📊 競品分析▸ Show

特性	Gemma 4 26B (A4B)	Llama 4 27B (Q8)	Mistral Large 3 (Q8)
參數規模	26B	27B	32B
量化穩定性	存在注意力漂移問題	表現穩定	表現穩定
基準測試 (MMLU)	82.4%	83.1%	84.5%
授權模式	Gemma 許可證	Llama 許可證	Apache 2.0

KL 散度漂移 (KL Divergence Drift)：診斷工具透過計算量化權重與原始權重分佈之間的 KL 散度，發現 attn_k、attn_q、attn_v 層的數值分佈偏離了預期的統計特徵。
數值溢出與飽和：由於量化導致的數值範圍壓縮，部分注意力層的權重在 Softmax 計算前出現了超出正常範圍 2-10 倍的異常值，導致注意力權重分配失衡。
Unsloth 整合分析：該問題是在使用 Unsloth 框架進行 Q8_0 量化時被捕捉到的，顯示出特定量化算子在處理 Gemma 4 架構時可能存在與權重分佈不匹配的現象。