⚛️量子位•較早收集於 74m
Google 悄悄發布模型，速度提升 4 倍
💡使用擴散模型進行文字生成並獲得 4 倍速度提升，可能會重新定義推論效率標準。
⚡ 30-Second TL;DR
有什麼變化
推論速度提升 4 倍
為什麼重要
如果擴散模型在文字處理上變得可行，可能會在特定延遲敏感的任務中挑戰標準 Transformer 架構的地位。
下一步行動
針對您目前的 LLM，對這款新的 Google 模型進行延遲關鍵型文字生成任務的基準測試。
誰應關注：Researchers & Academics
關鍵要點
- •推論速度提升 4 倍
- •將擴散模型應用於文字生成
- •低調發布顯示對效率的重視
🧠 深度解析
Web-grounded analysis with 17 cited sources.
🔑 增強重點摘要
- •Google發布的這款模型名為DiffusionGemma，是一個實驗性的開源模型，採用Apache 2.0許可證發布，旨在探索文本擴散技術在文本生成上的應用。
- •DiffusionGemma是一個26B的專家混合模型（MoE），但在推論時僅激活3.8B的參數，使其在消費級GPU上也能高效運行，量化後可適配18GB的VRAM。
- •該模型採用雙向注意力機制，能夠同時生成256個token的文本塊，而非傳統自回歸模型逐個token的生成方式，這使其在NVIDIA H100上達到每秒1000+個token，在NVIDIA GeForce RTX 5090上達到每秒700+個token。
- •DiffusionGemma專為需要低延遲的互動式本地工作流程而設計，例如內聯編輯、快速迭代和生成非線性文本結構，但Google明確指出其整體輸出品質低於標準的Gemma 4模型。
- •該模型具有多模態處理能力，可接受文本、圖像和影片的交錯輸入以生成文本輸出，並內建可配置的「思考模式」以進行逐步推理。
🛠️ 技術深入
- 模型名稱: DiffusionGemma
- 架構: 基於Gemma 4家族架構和Gemini Diffusion研究的實驗性開源模型。
- 參數數量: 總計26B參數的專家混合模型（MoE），但在推論時僅激活3.8B參數。
- 生成機制: 採用離散文本擴散（Discrete Text Diffusion），從逐個token的自回歸轉變為塊自回歸多畫布採樣（block-autoregressive multi-canvas sampling）。
- 並行生成: 每個前向傳播（forward pass）可同時生成256個token的文本塊。
- 注意力機制: 採用雙向注意力（bidirectional attention）機制，允許文本塊中的每個token都能關注所有其他token。
- 推論速度: 在專用GPU上比傳統自回歸大型語言模型（LLMs）快4倍。
- 在單個NVIDIA H100 GPU上可達每秒1000+個token。
- 在NVIDIA GeForce RTX 5090上可達每秒700+個token。
- 硬體要求: 量化後可在18GB VRAM內運行，適用於高階消費級GPU。
- 多模態能力: 可處理文本、圖像和影片的交錯輸入，並生成文本輸出。
- 自我修正: 模型能夠迭代地精煉其輸出，一次性評估整個文本塊以即時修正錯誤。
- 品質權衡: 優先考慮速度和並行佈局生成，但整體輸出品質低於標準Gemma 4模型。
- 開源狀態: 在Apache 2.0許可證下發布。
- 整合支援: 在vLLM、Transformers、MLX、Unsloth、NVIDIA NeMo、Google Cloud的Model Garden和NVIDIA NIM中提供即時支援。
- 思考模式: 內建可配置的推理通道，允許模型在給出最終答案前進行逐步思考。
🔮 前景展望AI analysis grounded in cited sources
擴散模型將在即時互動式AI應用中扮演關鍵角色。
DiffusionGemma專為內聯編輯、快速迭代和生成非線性文本結構等速度關鍵型本地工作流程而設計，解決了本地推論的延遲瓶頸。
消費級GPU將能運行更複雜的AI模型，降低開發門檻。
DiffusionGemma經過量化後可在18GB VRAM的消費級GPU上運行，使其適用於個人開發者和研究人員進行本地部署。
AI模型開發將更加注重速度與品質之間的權衡，以適應不同應用場景。
Google明確指出DiffusionGemma優先考慮速度，但整體輸出品質低於標準Gemma 4，建議針對最大品質需求使用Gemma 4，這表明了針對特定用例進行模型優化的趨勢。
⏳ 時間線
2020
Google研究人員Jonathan Ho等人發表「Denoising Diffusion Probabilistic Models (DDPM)」，簡化了擴散模型框架，為實際應用奠定基礎。
2022-09
Google Brain團隊推出Imagen，一個文本到圖像的擴散模型，在圖像生成方面展現出前所未有的真實感和語言理解能力。
2023-12
Imagen 2在Vertex AI上普遍可用，提供企業級文本到圖像功能，並顯著提升圖像品質。
2025-05
Google的Gemini Diffusion在Google I/O 2025上亮相，首次實現了與自回歸模型相當的商業級性能，生成速度達到每秒1,479個tokens。
2026-06-10
Google DeepMind發布實驗性開源模型DiffusionGemma，利用文本擴散技術將文本生成速度提升4倍。
📎 來源 (17)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： 量子位 ↗