🕷️
SetupAI
🗾較早收集於 83m

Google 發布 DiffusionGemma，實現高速本地文字生成

Google 發布 DiffusionGemma，實現高速本地文字生成
PostLinkedIn
🗾閱讀原文： ITmedia AI+ (日本)
#local-llm#diffusion-model#high-speed-inferencediffusiongemmagooglediffusiongemmagemma

💡首款在本地達到每秒 1000+ token 的擴散式文字模型，可能徹底改變離線程式開發工具的生態。

⚡ 30-Second TL;DR

有什麼變化

採用基於擴散模型的方法，可並行生成 256 個 token。

為什麼重要

該模型為需要低延遲、本地文字處理且不依賴雲端自回歸推論的開發者提供了新範式。這將能顯著提升本地 IDE 外掛與離線 AI 工具的反應速度。

下一步行動

下載並在您的本地環境中測試 DiffusionGemma，以評估其速度與品質的比例是否適合您的程式碼補全或編輯工作流程。

誰應關注：Developers & AI Engineers

關鍵要點

  • •採用基於擴散模型的方法，可並行生成 256 個 token。
  • •在本地 GPU 上可達到每秒超過 1000 個 token 的生成速度。
  • •針對本地端的行內編輯與程式碼補全任務進行了優化。
  • •相較於標準自回歸模型，在輸出品質上有所取捨。

🧠 深度解析

Web-grounded analysis with 19 cited sources.

🔑 增強重點摘要

  • •DiffusionGemma 採用 26B 專家混合 (MoE) 模型架構，但在推論時僅啟用 3.8B 參數，經過量化後可在 18GB VRAM 內運行，使其適用於高階消費級 GPU。
  • •該模型支援多模態輸入，能夠處理文字、圖像和影片輸入以生成文字輸出，擴展了其應用範圍。
  • •與傳統的自回歸模型不同，DiffusionGemma 利用雙向注意力機制在 256 個 token 的畫布上進行並行處理，使每個 token 都能參考其他所有 token，這對於行內編輯和程式碼填充等非線性任務具有顯著優勢，並支援智慧型自我校正。
  • •DiffusionGemma 以 Apache 2.0 許可證發布，其權重可在 Hugging Face 上取得，並支援與 MLX、vLLM、Hugging Face Transformers、NVIDIA NeMo 和 Google Cloud 的 Model Garden 等工具整合。
  • •該模型專為速度至關重要的互動式本地工作流程而設計，例如即時編輯和快速迭代，但在輸出品質上會略遜於標準的 Gemma 4 模型，且其吞吐量優勢在單一加速器上的低至中等批次大小時最為顯著。
📊 競品分析▸ Show
模型名稱/產品主要特色活躍參數/總參數VRAM 需求 (量化後)基準 (tokens/秒)許可證/可用性品質取捨
Google DiffusionGemma高速並行文字生成，雙向注意力，多模態輸入3.8B / 26B MoE18GBH100: 1000+; RTX 5090: 700+Apache 2.0 (開源)速度優先，品質略低於 Gemma 4
DeepSeek Coder 33B頂級本地程式碼生成N/A / 33B24GB+N/AN/A高品質程式碼
Qwen 2.5 Coder 32B強大的本地程式碼生成，擅長多檔案處理N/A / 32BN/A (需大量 RAM)N/AN/A高品質程式碼
CodeLlama 13B適用於中等硬體，程式碼補全N/A / 13B8-16GB~35.7 (範例)N/A良好程式碼品質
gpt-oss-20b (OpenAI)高效能 MoE，可調整推理級別，大上下文視窗3.6B / 21B MoEN/A (高效運行)N/AApache 2.0 (開源)高品質，可調整速度與深度
Claude Haiku 4.5快速、可靠，適用於輕量級程式碼問題N/AN/AN/A專有 (API)快速響應，適用於簡單任務
GPT-5.3-Codex綜合表現最佳 (成本、速度、正確性、技術品質)N/AN/AN/A專有 (API)高品質，指令遵循能力強

🛠️ 技術深入

  • 架構基礎: DiffusionGemma 建立在 Gemma 4 系列的基礎之上，是一個 26B 參數的專家混合 (MoE) 模型，但在推論時僅啟用 3.8B 參數，以實現高效能和可存取性。它整合了一個新穎的擴散頭，專為最大化生成速度而設計。
  • 擴散生成過程: 模型從隨機佔位符 token 的「畫布」開始，並透過多次去噪過程並行地迭代精煉這些 token。高度確定的 token 會作為上下文線索，幫助解析相鄰位置，使整個序列逐漸清晰。
  • 編碼器-解碼器設計: 採用編碼器-解碼器架構。自回歸編碼器處理並快取提示上下文，而解碼器則在生成畫布上應用雙向注意力進行去噪。
  • 雙向注意力: 在 256 個 token 的畫布上，每個 token 都可以關注所有其他 token，這提供了全局上下文感知能力，對於非線性問題（如程式碼填充或數獨）特別有效，並支援即時錯誤校正。
  • 硬體優化: 透過將瓶頸從記憶體頻寬轉移到計算，利用 GPU 的 Tensor Core 處理大型並行工作負載，從而繞過傳統自回歸模型的限制。它與 NVIDIA 硬體堆疊進行了優化，支援消費級 GPU (如 GeForce RTX 5090) 和企業級系統 (如 H100、H200)，並原生支援 NVFP4 (4 位元浮點) 以加速計算吞吐量。
  • 區塊自回歸擴散: 對於長於 256 個 token 的序列，一旦一個 256 個 token 的區塊完全去噪，模型會將其處理並提交到 KV 快取中。然後模型會轉換到下一個區塊，初始化一個新的 256 個 token 畫布，並以先前提交的歷史作為條件。
  • 熵界去噪與自適應停止: 在每個去噪步驟中，所有畫布位置都會重新取樣，但只保留模型確定的位置。信心透過每個位置預測分佈的熵來衡量。自適應停止功能允許模型根據任務複雜度提前停止去噪步驟，進一步降低延遲。
  • 多模態處理: 原生支援文字、圖像（支援可變長寬比和解析度）和影片輸入，並生成文字輸出。
  • 上下文長度: 支援高達 256K token 的上下文視窗。
  • 思考模式: 內建可配置的推理通道，允許模型在給出最終答案之前進行逐步思考。

🔮 前景展望AI analysis grounded in cited sources

本地AI應用程式的開發將加速並普及化。
DiffusionGemma 的高速本地推論能力和對消費級 GPU 的支援，將降低開發者在設備上部署即時互動式 AI 應用的門檻，從而促進本地 AI 解決方案的創新和採用。
程式碼補全與編輯工具將實現更流暢、即時的用戶體驗。
該模型專為行內編輯和程式碼補全等任務優化，其並行生成和雙向注意力機制能顯著減少延遲，提升互動性，使開發者能夠在本地環境中獲得接近即時的輔助。
擴散模型在文字生成領域的應用將獲得更多研究關注。
DiffusionGemma 證明了離散擴散文字生成在開放權重模型層面是可行的，這將激勵研究人員進一步探索其在品質和效率上的潛力，並可能催生更多基於擴散的文字生成模型。

⏳ 時間線

2024-02
Google 首次發布 Gemma 系列模型 (Gemma 1)，作為 Gemini 的輕量級開源版本。
2024-06
Google 發布 Gemma 2 系列模型。
2025-03
Google 發布 Gemma 3 系列模型。
2026-04
Google 發布 Gemma 4 系列模型，並採用 Apache 2.0 開源許可證。
2026-06-10
Google 發布實驗性開源模型 DiffusionGemma，基於 Gemma 4 架構，採用文字擴散技術實現高速文字生成。
🗾閱讀原文： ITmedia AI+ (日本)
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

同主題

探索 #local-llm

同產品

更多關於 diffusiongemma

同來源

最新來自 ITmedia AI+ (日本)

Scene 推出 AI 功能，可將 3D CAD 轉換為組裝說明書

Scene 推出 AI 功能，可將 3D CAD 轉換為組裝說明書

ITmedia AI+ (日本)•Jul 13
Hitachi：AI 時代的系統現代化更需要人類的參與

Hitachi：AI 時代的系統現代化更需要人類的參與

ITmedia AI+ (日本)•Jul 12

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ITmedia AI+ (日本) ↗