🐼Pandaily•較早收集於 2h
北京大學與 DeepSeek 開源 DSpark 推論框架
💡DeepSeek 推出的全新開源推測解碼框架，能將 LLM 推論吞吐量提升高達 661%。
⚡ 30-Second TL;DR
有什麼變化
利用推測解碼技術將 LLM 推論速度提升 60-85%
為什麼重要
DSpark 為尋求優化 LLM 部署成本與延遲的開發者提供了強大的工具。這可能顯著降低在生產環境中運行高效能模型的門檻。
下一步行動
複製 DSpark 儲存庫並將其與您目前的推論引擎進行基準測試，以確認是否符合您的延遲需求。
誰應關注：Developers & AI Engineers
關鍵要點
- •利用推測解碼技術將 LLM 推論速度提升 60-85%
- •在嚴格的延遲限制下，吞吐量提升高達 661%
- •由北京大學與 DeepSeek 共同開發並開源
🧠 深度解析
本篇為 AI 生成分析，非原文內容。
🔑 增強重點摘要
- •DSpark 採用了創新的『推測性解碼』（Speculative Decoding）架構，透過輕量級草稿模型（Draft Model）預測 Token，顯著降低了對大型目標模型的計算依賴。
- •該框架特別針對異構計算環境進行了優化，能夠在不同硬體配置下動態調整推論策略，以維持高吞吐量。
- •DSpark 的開源策略旨在解決大型語言模型在邊緣設備或資源受限環境中部署時的延遲瓶頸問題。
- •研究團隊在論文中指出，DSpark 透過優化記憶體存取模式，減少了推論過程中的頻寬佔用，這對於長文本生成任務尤為關鍵。
- •該技術不僅適用於 DeepSeek 自家模型，還具備良好的通用性，可與多種主流開源大語言模型（如 Llama 系列）無縫整合。
📊 競品分析▸ Show
| 特性 | DSpark | vLLM (Speculative Decoding) | Medusa |
|---|---|---|---|
| 核心技術 | 推測解碼優化 | PagedAttention/Speculative | 多頭注意力預測 |
| 適用場景 | 嚴格延遲限制/邊緣計算 | 高吞吐量伺服器 | 低延遲生成 |
| 效能提升 | 60-85% (推論速度) | 視硬體而定 | 2x-3x (生成速度) |
| 開源授權 | 開源 | Apache 2.0 | Apache 2.0 |
🛠️ 技術深入
- 採用階層式推測機制，允許草稿模型在多個時間步長內進行並行預測。
- 實作了高效的驗證機制，確保草稿模型生成的 Token 分佈與目標模型一致，維持輸出品質。
- 針對 KV Cache 進行了專門的記憶體管理優化，減少了推測失敗時的重算開銷。
- 支援動態批次處理（Dynamic Batching），在多用戶請求場景下能有效平衡延遲與吞吐量。
🔮 前景展望AI analysis grounded in cited sources
DSpark 將推動端側 AI 設備的普及。
透過大幅降低推論延遲，使得在手機或個人電腦等邊緣設備上運行高性能 LLM 變得更加可行。
推測解碼技術將成為未來 LLM 推論框架的標準配置。
DSpark 展現的顯著效能增益證明了該技術在處理複雜推理任務時的不可替代性。
⏳ 時間線
2024-05
北京大學與 DeepSeek 團隊開始針對大模型推論效率進行聯合研究。
2025-02
DSpark 框架初步原型完成，並在內部測試中展現出優於傳統推論引擎的效能。
2025-08
DSpark 正式對外發布並開源，提供開發者社群使用。
📰 事件追蹤
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Pandaily ↗
每週 AI 簡報
每週一封，可隨時退訂。