Google unveils DiffusionGemma for non-sequential text generation

🔑 增強重點摘要

•DiffusionGemma 是一個實驗性的開源模型，採用 Apache 2.0 授權，主要針對研究人員和開發者，用於需要高速、互動式的本地工作流程，例如即時編輯和快速迭代。
•該模型具備多模態處理能力，能夠原生接受文字、圖像和影片輸入，並生成文字輸出，擴展了其在純文字生成之外的應用範圍。
•DiffusionGemma 採用總參數為 26B 的混合專家模型 (MoE) 架構，但在推論時僅激活 3.8B 參數，這使得其在量化後可適用於 18GB VRAM 的高階消費級 GPU。
•該模型整合了智慧型自我修正功能，能夠迭代地精煉其輸出，並同時評估整個文字區塊以即時修正錯誤，這與傳統的序列式生成方式不同。

🛠️ 技術深入

模型架構: DiffusionGemma 建立在 Gemma 4 骨幹之上，是一個 26B 總參數的混合專家模型 (MoE)，但在推論時僅激活 3.8B 參數。
擴散生成過程: 採用「離散文字擴散 (Discrete Text Diffusion)」或「統一狀態擴散 (Uniform State Diffusion)」方法。模型從一個包含 256 個隨機佔位符 token 的「畫布」開始，並在多個去噪過程中平行迭代地精煉這些 token，高置信度的 token 有助於解析相鄰位置。
編碼器-解碼器設計: 模型使用一個自回歸編碼器來處理和快取提示上下文 (KV cache)，然後由一個解碼器應用雙向注意力機制對生成畫布進行去噪。
區塊自回歸擴散: 對於長度超過 256 個 token 的序列，一旦一個區塊完全去噪，它就會被處理並提交到 KV 快取中，然後模型會基於先前的歷史初始化一個新的 256 個 token 畫布。
注意力機制: 解碼器模式中的雙向注意力允許畫布中的每個 token 都能關注所有其他 token，從而實現即時錯誤修正和平行上下文傳播。
推論效率: 透過將解碼瓶頸從記憶體頻寬轉移到計算，特別是在低到中等批次大小下，更有效地利用 Tensor 核心。
推論速度: 在單個 NVIDIA H100 GPU 上可達每秒 1000+ token，在 NVIDIA GeForce RTX 5090 上可達每秒 700+ token。
硬體需求: 量化後（例如 NVFP4 格式）可在 18GB VRAM 內運行，適用於高階消費級 GPU。
上下文長度: 支援高達 256K 個 token 的上下文長度。
訓練資料: 包含網路文件、程式碼、數學和圖像等多模態、多樣化的大規模預訓練語料庫，涵蓋 140 多種語言，資料截止日期為 2025 年 1 月。
思考模式: 內建可配置的推理通道，允許模型在給出最終答案之前進行逐步思考。

🔮 前景展望AI analysis grounded in cited sources

DiffusionGemma 將加速本地端 AI 應用程式的開發與普及。

其高速推論能力和較低的 VRAM 需求，使其能更有效地在消費級硬體上運行互動式 AI 工作流程。

擴散模型將成為非線性文字生成任務（如程式碼補全和即時編輯）的首選架構。

雙向注意力機制和迭代自我修正能力使其在處理這類需要全局上下文理解和靈活修改的任務上表現出色。

未來 AI 模型將更普遍地採用混合專家模型 (MoE) 架構以平衡性能與效率。

DiffusionGemma 展示了 MoE 模型如何在保持高總參數量的同時，透過稀疏激活實現低推論成本和硬體足跡。

⏳ 時間線

2024-02

Google 發表 Gemma 系列輕量級開源生成式 AI 模型。

2025-05

Google 宣布 Gemini Diffusion 研究，探索基於擴散技術的新型語言模型。

2026-04-02

Google 釋出 Gemma 4 模型，採用 Apache 2.0 授權。

2026-06-10

Google DeepMind 發表實驗性的 DiffusionGemma 模型，利用擴散技術實現非序列式文字生成。

Google 發表 DiffusionGemma，實現非序列式文字生成

⚡ 30-Second TL;DR

關鍵要點

🧠 深度解析

🔑 增強重點摘要

🛠️ 技術深入

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線

📎 來源 (26)

👉相關動態