Gemma 4 12B audio attention issues with long prompts

•Gemma 4 12B Unified 於 2026 年 6 月 3 日發布，採用獨特的無編碼器架構，直接將原始音訊波形投影到大型語言模型的嵌入空間中，旨在降低多模態延遲並實現一次性微調。
•該模型設計用於在消費級筆記型電腦上運行，支援 16GB 顯存，並在 8 位量化下實現高效能，使其成為本地 AI 工作流程的實用選擇。
•Gemma 4 12B 採用混合注意力機制，結合了局部滑動窗口注意力（1024 tokens）和全局注意力，並利用 Proportional RoPE (p-RoPE) 實現長上下文效率，其文本上下文窗口可達 256K tokens。
•儘管其文本上下文窗口高達 256K tokens，但音訊輸入的有效上下文長度可能遠低於此，這與大型音訊語言模型 (LALMs) 在處理長音訊輸入時普遍存在的挑戰相符，這些模型通常在短音訊片段上訓練，對長輸入的泛化能力較差。
•Gemma 4 12B 根據 Apache 2.0 許可證發布，這是一個完全開源的許可證，允許自由使用、修改和商業部署，與 Gemma 3 及早期版本使用的 Google 專有條款不同。

📊 競品分析▸ Show

特性/模型	Gemma 4 12B (Google)	GPT-4o (OpenAI)	Claude 3.5 (Anthropic)	Llama 3 (Meta)	Mistral Large (Mistral AI)	Qwen 3.6 27B (Alibaba)
多模態	文字、圖像、音訊、視訊 (音訊原生)	文字、圖像、音訊 (即時)	文字、圖像	文字、圖像 (有限)	文字、圖像 (有限)	文字、圖像 (無音訊)
上下文窗口	256K tokens (文本)	長上下文	長上下文	長上下文	長上下文	長上下文
部署/硬體	筆記型電腦 (16GB VRAM)	雲端 API	雲端 API	本地/雲端	雲端 API	本地 (NVIDIA H100, 80GB VRAM)
許可證	Apache 2.0 (完全開源)	專有	專有	開源	部分開源	開源
主要優勢	本地多模態、無編碼器架構、效率	進階推理、即時多模態、對話流暢	安全長上下文推理、深度分析	開源生態系統靈活性	高效能、計算需求優化	強大文本與視覺能力
價格	免費 (開源權重)	API 定價	API 定價	免費 (開源權重)	API 定價	免費 (開源權重)
基準測試	接近 Gemma 4 26B	強於 Gemma 4	強於 Gemma 4	-	-	文本/編碼優於 Gemma 4 12B

模型架構: Gemma 4 12B Unified 採用無編碼器、僅解碼器 (decoder-only) 的 Transformer 架構。
參數數量: 11.95B 參數。
層數: 48 層。
注意力機制: 混合注意力機制，交錯使用局部滑動窗口注意力 (1024 tokens) 和全局注意力，確保最後一層始終為全局注意力。
長上下文效率: 透過統一的鍵值 (unified keys and values) 和比例位置編碼 (Proportional RoPE, p-RoPE) 實現長上下文窗口。
音訊處理:
- 完全移除獨立的音訊編碼器。
- 將原始 16 kHz 音訊切片成 40 毫秒的幀 (640 個樣本)。
- 這些音訊幀透過輕量級線性層直接投影到 LLM 的嵌入空間中，與文本 token 共享相同的維度空間。
- 這種統一方法減少了多模態延遲並允許一次性微調整個模型。
視覺處理:
- 用一個 35M 參數的輕量級視覺嵌入模組取代了其他 Gemma 4 模型中使用的多層視覺編碼器。
- 將原始 48x48 像素塊直接投影到 LLM 的隱藏空間中，透過單一矩陣乘法完成。
- 透過因式分解的 X-Y 座標查找 (factorized X-Y coordinate lookup) 在輸入階段注入空間位置資訊。
詞彙量: 262,144。
多 token 預測 (MTP) 草稿器: 支援 MTP 草稿器用於推測解碼 (speculative decoding)，以提高解碼速度。

長系統提示詞下的多模態注意力問題將推動模型開發者改進跨模態注意力機制。

由於 Gemma 4 12B 在長文本提示下難以有效處理音訊，這表明當前模型在平衡不同模態的注意力分配方面存在瓶頸，將促使研究者探索更精細的注意力權重或模態融合策略。

針對長音訊上下文的專門優化技術將成為多模態大型語言模型發展的關鍵領域。

鑑於現有大型音訊語言模型普遍存在長音訊上下文處理能力不足的問題，未來將有更多研究專注於開發如 Partial YaRN 或 Virtual Longform Audio Training 等訓練或推理方法，以有效擴展音訊處理能力。

隨著 Gemma 4 12B 等模型採用完全開源許可證，將加速本地多模態 AI 應用和社群驅動的優化。

Apache 2.0 許可證降低了商業和研究使用的門檻，鼓勵開發者在 vLLM、llama.cpp 等現有生態系統中進行實驗和貢獻，從而更快地發現並解決模型限制，並催生更多創新的本地應用。

2024-02

Google 發布 Gemma 1 (2B, 7B) 系列模型，標誌著其開源輕量級模型的首次亮相。

2024-06

Google 發布 Gemma 2 (9B, 27B) 系列模型，提升了效能和推理效率。

2025-03

Google 發布 Gemma 3 (1B, 4B, 12B, 27B) 系列模型，進一步擴展了模型規模和多語言支援。

2026-04

Google 發布 Gemma 4 系列模型 (E2B, E4B, 26B MoE, 31B Dense)，引入多模態輸入能力。

2026-06

Google 發布 Gemma 4 12B Unified 模型，採用無編碼器架構，原生支援音訊輸入，並以 Apache 2.0 許可證開源。

Gemma 4 12B 在長提示詞下的音訊注意力問題