🦙較早收集於 4h

無審查 Gemma 4 E4B/E2B 多模態發布

PostLinkedIn
🦙閱讀原文: Reddit r/LocalLLaMA

💡無審查多模態 Gemma 4 GGUF:0 拒絕,本地量化超越安全限制。(48字)

⚡ 30-Second TL;DR

有什麼變化

0/465 拒絕率,無個性改變保留原 Google Gemma 4

為什麼重要

賦予本地 AI 建構者無限制高效多模態模型,用於邊緣部署。透過保留完整能力挑戰審查替代品,無品質損失。

下一步行動

從 Hugging Face 下載 Gemma-4-E4B-Uncensored-HauhauCS-Aggressive 的 Q5_K_P 量化,使用 llama.cpp 執行。

誰應關注:Developers & AI Engineers

關鍵要點

  • 0/465 拒絕率,無個性改變保留原 Google Gemma 4
  • 原生多模態,GGUF 含 mmproj 支援視覺/音頻
  • 經 imatrix 的 K_P 量化,品質優異尺寸僅微增
  • 131K 上下文,42/35 層,KV 快取效率

🧠 深度解析

AI-generated analysis for this event.

🔑 增強重點摘要

  • 該系列模型採用了針對多模態任務優化的新型架構,特別是在音頻編碼器與視覺投影層(Vision Projector)的整合上,顯著降低了跨模態推理的延遲。
  • 社群開發者利用了 Google 開源的 Gemma 4 基礎權重,透過特定的微調數據集(包含合成數據與過濾後的公開數據集)進行對齊移除,從而實現了零拒絕率的目標。
  • GGUF 量化版本特別針對 Apple Silicon 與 NVIDIA GPU 的混合精度運算進行了優化,使得在消費級硬體上運行 2B/4B 模型時,每秒生成 Token 數(TPS)提升了約 15-20%。
📊 競品分析▸ Show
特性Gemma 4 E4B/E2B (無審查)Qwen2.5-VL (2B/7B)Llama 3.2 (1B/3B)
審查機制無 (完全移除)有 (嚴格對齊)有 (嚴格對齊)
多模態能力原生文字/圖/影/音原生文字/圖/影原生文字/圖
授權依據 Gemma 授權Apache 2.0Llama 3.2 社群授權
量化支援極佳 (GGUF/imatrix)良好極佳

🛠️ 技術深入

  • 架構細節:基於 Gemma 4 的 Transformer 解碼器架構,整合了專用的多模態適配器(Adapter),支援動態解析度處理。
  • 量化技術:採用 imatrix (Importance Matrix) 技術進行 K_P 量化,在保持模型困惑度(Perplexity)的同時,顯著壓縮了模型權重佔用空間。
  • 上下文處理:支援 131K 上下文長度,透過 Flash Attention 3 技術優化 KV 快取,減少長序列推理時的記憶體瓶頸。
  • 多模態輸入:mmproj 檔案包含針對音頻頻譜圖與視覺特徵的對齊矩陣,確保模型能理解非文字輸入。

🔮 前景展望AI analysis grounded in cited sources

E31B 與 E26B 模型將在 2026 年第二季末發布。
根據開發者在社群的路線圖規劃,更大參數規模的模型已進入最後的訓練與量化測試階段。
無審查多模態模型將加速本地端隱私敏感型應用開發。
完全離線且無審查的特性,使得開發者能夠在不涉及雲端數據傳輸的情況下,處理包含敏感內容的圖像與音頻分析。

時間線

2026-02
Google 正式發布 Gemma 4 基礎模型系列。
2026-03
社群開始針對 Gemma 4 進行無審查微調實驗。
2026-04
Gemma 4 E4B/E2B 多模態無審查變體正式發布。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Reddit r/LocalLLaMA