DeepMind Releases DiffusionGemma for Non-Sequential Text Generation

•DiffusionGemma 是一個實驗性的開源模型，基於 Gemma 4 系列和 Gemini Diffusion 研究，並以 Apache 2.0 許可證發布。
•它透過將解碼瓶頸從記憶體頻寬轉移到計算，在專用 GPU 上實現比自迴歸 Gemma 模型快達 4 倍的推論速度。
•該模型在每次前向傳播中並行生成 256 個 token，採用雙向注意力機制，使每個 token 都能關注所有其他 token，這對於行內編輯或程式碼填充等非線性領域具有顯著優勢。
•DiffusionGemma 的整體輸出品質低於標準 Gemma 4 模型，因此它是一個在速度關鍵型、互動式本地工作流程中的權衡選擇。

DiffusionGemma 建構於 Gemma 4 骨幹之上，是一個 26B 專家混合 (MoE) 模型，但在推論期間僅啟動 3.8B 參數。
它整合了一個新穎的擴散頭（diffusion head），旨在最大化生成速度，並透過基於擴散的並行解碼器同時生成整個文字區塊。
模型從隨機佔位符 token 的「畫布」開始，並在多次去噪過程中迭代地精煉它們，高置信度的 token 有助於解析相鄰位置。
每次前向傳播可並行去噪多達 256 個 token，並利用雙向注意力機制，使每個 token 都能關注所有其他 token。
透過重新加噪（re-noising）實現錯誤修正，如果在生成過程中置信度下降，採樣器會用隨機 token 替換，從而實現連續的自我修正。
採用 Uniform State Diffusion，模型能夠同時評估整個文字區塊，這種方法使用均勻、對稱的核函數迭代地將噪音轉換為結構化離散數據。
對於長於 256 個 token 的序列，一旦一個 256 個 token 的區塊完全去噪，它將被提交到 KV 快取，然後模型將根據先前提交的歷史記錄處理下一個區塊。
Google 與 NVIDIA 合作對 DiffusionGemma 進行了優化，以確保其在 NVIDIA 的硬體堆棧上高效運行，包括消費級 GPU（RTX 5090、4090）和企業級系統（Hopper、Blackwell），並利用 NVFP4 核心加速計算吞吐量。

DiffusionGemma 將加速互動式 AI 應用程式的開發與部署。

其高速並行生成和低延遲特性，使其非常適合即時編輯、程式碼填充和本地代理工作流程。

擴散模型將成為非自迴歸文字生成領域的主流架構。

DiffusionGemma 的發布表明業界正在積極探索自迴歸模型的替代方案，以解決速度和效率瓶頸。

未來將有更多針對特定硬體優化的開源擴散模型出現。

Google 與 NVIDIA 合作優化 DiffusionGemma 的性能，顯示硬體與模型協同優化對於實現高效能至關重要。

2024-02

Google DeepMind 發布 Gemma 系列模型，作為 Gemini 的輕量級開源版本

2024-06

Gemma 2 發布，包含 9B 和 27B 變體

2025-03

Gemma 3 發布，提供 1B、4B、12B 和 27B 變體

2025-05

Google 的 Gemini Diffusion 在 Google I/O 2025 上首次亮相，實現了與自迴歸模型相當的商業級性能

2026-04

Google 發布 Gemma 4，提供多種尺寸，並以 Apache 2.0 許可證開源

2026-06

DeepMind 發布 DiffusionGemma，這是一款實驗性的開源擴散模型，用於快速非序列式文字生成

DeepMind 發布 DiffusionGemma，實現非序列式文字生成