Google's DiffusionGemma model achieves 4x speed boost

🔑 增強重點摘要

•DiffusionGemma 透過將瓶頸從記憶體頻寬轉移到計算，實現了文本區塊的平行生成，從而提升了速度。
•這是一個實驗性的開源 26B 專家混合 (MoE) 模型，但在推論時僅啟動 3.8B 參數，量化後可在 18GB VRAM 限制內部署，使其適用於高端消費級 GPU。
•該模型採用基於擴散的平行解碼器和新型擴散頭，能夠同時生成 256 個 token 的文本區塊，並利用雙向注意力實現即時錯誤糾正。
•儘管速度更快，DiffusionGemma 的整體輸出品質略低於標準的 Gemma 4 模型，因此更適合於對速度要求嚴苛的互動式本地工作流程，例如行內編輯和程式碼填充。
•在專用 GPU 上，DiffusionGemma 展現出卓越的效能，在單個 NVIDIA H100 GPU 上每秒可生成超過 1000 個 token，在 NVIDIA GeForce RTX 5090 上每秒可生成超過 700 個 token。

🛠️ 技術深入

架構基礎 (Architectural Foundation): 建立在 Gemma 4 26B 專家混合 (MoE) 架構之上，但在推論時僅啟動 3.8B 參數。
生成機制 (Generation Mechanism): 採用離散文本擴散 (discrete text diffusion) 方法，而非傳統的逐詞自迴歸解碼。
平行生成 (Parallel Generation): 透過擴散式解碼器和新型擴散頭，同時生成整個文本區塊 (稱為「畫布」，canvas)，每個前向傳播可處理 256 個 token。
注意力機制 (Attention Mechanism): 採用雙向注意力 (bidirectional attention)，允許畫布中的每個 token 同時關注所有其他位置，有助於實時錯誤糾正和並行上下文傳播。
迭代細化 (Iterative Refinement): 模型從隨機佔位符 token 的畫布開始，並透過多次去噪過程迭代地細化它們，高置信度的 token 有助於解決相鄰位置。
硬體優化 (Hardware Optimization): 專為 NVIDIA GPU 進行優化，包括 H100、GeForce RTX 5090/4090、RTX PRO 6000 工作站、DGX Spark 和 DGX Station。
記憶體效率 (Memory Efficiency): 量化後可在 18GB VRAM 限制內部署，使其適用於高端消費級 GPU。
整合與部署 (Integration & Deployment): 可透過 vLLM、Hugging Face Transformers、Unsloth 和 NVIDIA NeMo 框架進行部署和微調。
多模態輸入 (Multimodal Input): 支援文本、圖像和影片輸入以生成文本輸出，並支援可變圖像解析度。
上下文長度 (Context Length): 支援高達 256K token 的上下文窗口。

🔮 前景展望AI analysis grounded in cited sources

互動式 AI 應用程式的延遲將顯著降低。

DiffusionGemma 的 4 倍速度提升和平行生成能力將使即時編輯、程式碼填充等本地工作流程更加流暢和響應迅速。

開源文本生成模型將更廣泛地應用於消費級硬體。

該模型可在 18GB VRAM 內部署，降低了高性能 AI 模型在本地設備上運行的硬體門檻，促進了邊緣 AI 的發展。

文本擴散模型將成為自迴歸模型在特定速度關鍵應用中的有力替代方案。

DiffusionGemma 展示了擴散模型在文本生成速度上的優勢，儘管在品質上有所權衡，但為需要低延遲的應用開闢了新途徑。

⏳ 時間線

2024-02

Google 首次發布 Gemma 模型系列 (2B 和 7B 尺寸)。

2024-06

Google 發布 Gemma 2 模型系列 (9B 和 27B 尺寸)。

2025-03

Google 發布 Gemma 3 模型系列 (1B, 4B, 12B 和 27B 尺寸)。

2026-04

Google 發布免費開源的 Gemma 4 模型系列 (E2B, E4B, 26B MoE, 31B Dense)。

2026-04

Google 加入 Eclipse 基金會成為戰略成員，深化對開源開發者基礎設施的投資。

2026-06

Google 發布實驗性開源 DiffusionGemma 模型，實現 4 倍速度提升。

Google 的 DiffusionGemma 模型實現 4 倍速度提升

⚡ 30-Second TL;DR

關鍵要點

🧠 深度解析

🔑 增強重點摘要

🛠️ 技術深入

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線

📎 來源 (25)

👉相關動態