💼VentureBeat•較早收集於 15m
Google 發布用於平行文字生成的 DiffusionGemma
💡首款實現生產規模平行 token 生成與自我修正的擴散式語言模型。
⚡ 30-Second TL;DR
有什麼變化
使用擴散技術而非傳統序列自回歸方法，可平行生成 256 個 token。
為什麼重要
此架構挑戰了標準的自回歸範式，可能為本地推論帶來更快的速度，並在邏輯謎題等受限生成任務中提供更好的效能。
下一步行動
將 DiffusionGemma 整合至您的 vLLM 工作流程中，以測試其在非序列、受限生成任務上的效能表現。
誰應關注：Developers & AI Engineers
關鍵要點
- •使用擴散技術而非傳統序列自回歸方法，可平行生成 256 個 token。
- •在 H200 GPU 上推論速度比標準基準模型快達 6 倍。
- •具備內建的自我修正能力與雙向上下文感知特性。
- •在 Apache 2.0 授權下，於 vLLM 推論平台獲得原生支援。
🧠 深度解析
Web-grounded analysis with 13 cited sources.
🔑 增強重點摘要
- •DiffusionGemma 建基於 26B A4B 混合專家 (MoE) Gemma 4 架構，但在推論時僅啟動 3.8B 參數，使其在本地部署時具有高效率。
- •這是一個多模態模型，能夠處理交錯的文字、圖像和影片輸入以生成文字輸出，支援圖像和最長 60 秒影片序列的可變長寬比和解析度。
- •該模型支援高達 256,000 個 token 的巨大上下文視窗，可實現長文件分析、大型程式碼庫理解和多文件推理等任務。
- •DiffusionGemma 專為速度關鍵的互動式本地工作流程而設計，例如內聯編輯、快速迭代和生成非線性文字結構，而非需要最高品質的生產輸出，後者仍推薦使用自回歸 Gemma 4 模型。
- •它透過平行去噪 256 個 token 實現高速生成，每次前向傳播可生成 15-20 個 token，在低批次大小設定下，H100 GPU 上的每秒 token 數可超過 1100 個。
🛠️ 技術深入
- 架構: 基於 26B A4B 混合專家 (MoE) Gemma 4 架構，在推論時僅啟動 3.8B 參數。它採用編碼器-解碼器架構，其中編碼器使用因果注意力處理提示並生成 KV 快取，而解碼器則在 256 個 token 的「畫布」上應用雙向注意力進行迭代去噪。
- 文字擴散過程: 從逐個 token 的自回歸生成轉變為區塊自回歸多畫布採樣。它從一個隨機佔位符 token 畫布開始，透過多個去噪步驟迭代地精煉，鎖定高置信度 token 並將其用作上下文線索。此過程稱為統一狀態擴散 (Uniform State Diffusion)。
- 自我修正能力: 雙向注意力和迭代精煉允許即時錯誤修正。如果在某次傳播中 token 的置信度下降，採樣器可以重新去噪並替換它，這是傳統自回歸模型所缺乏的能力。
- 多模態輸入: 原生支援文字、圖像（可變長寬比和解析度）和影片（每秒 1 幀，最長 60 秒的幀序列）輸入，以生成文字輸出。
- 推論優化: 針對小批次推論進行優化，將記憶體頻寬瓶頸轉移到計算，這在低批次大小下特別有吸引力。每次前向傳播可生成 15-20 個 token。
- 部署: 量化版本可在具有 18GB VRAM 的消費級 GPU 上運行。在 vLLM（透過
ModelState抽象實現自訂輸入準備和狀態管理）、Hugging Face Transformers、MLX 和 Unsloth 中獲得原生支援。 - 採樣設定: 推薦的採樣器是帶有自適應停止的熵界去噪 (Entropy-Bounded Denoising with Adaptive Stopping, EB)，最大去噪步驟為 48，溫度排程為線性衰減 (0.8 → 0.4)，熵界為 0.1。
🔮 前景展望AI analysis grounded in cited sources
擴散模型將在即時互動式AI應用中取代部分自回歸模型。
DiffusionGemma 的高速平行生成能力和低延遲特性，使其非常適合需要即時回應的應用，如程式碼自動補全和內聯編輯。
多模態輸入與文字擴散的結合將加速新型AI應用開發。
DiffusionGemma 能夠處理文字、圖像和影片輸入並生成文字輸出，這將為需要理解複雜多模態上下文的應用開啟新的可能性。
擴散模型將推動邊緣AI裝置上的高效能語言模型部署。
DiffusionGemma 的 MoE 架構和量化後可在 18GB VRAM 消費級 GPU 上運行的特性，使其非常適合在本地或邊緣設備上進行高效能推論。
⏳ 時間線
2024-02
Google 發布 Gemma 系列模型 (Gemma 2B 和 7B)。
2024-06
Google 發布 Gemma 2 系列模型 (Gemma 2B, 9B, 27B)。
2025-03
Google 發布 Gemma 3 系列模型 (Gemma 3 1B, 4B, 12B, 27B)。
2026-04
Google 發布 Gemma 4 系列模型 (E2B, E4B, 26B MoE, 31B Dense)。
2026-06
Google 發布 DiffusionGemma，基於 Gemma 4 26B A4B MoE 架構。
📎 來源 (13)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： VentureBeat ↗