DeepSeek DualPath 智能體 LLM 推理加速 1.9 倍

💡智能體 LLM 吞吐量 1.9 倍提升，KV-Cache 頻寬資源池化（38字）

⚡ 30-Second TL;DR

有什麼變化

針對「長上下文、短追加」智能體 LLM 工作負載推出 DualPath

為什麼重要

DualPath 打破單節點 I/O 限制，提升多輪智能體部署可擴展性，有望降低生產環境 AI 智能體推理成本。

下一步行動

從 arXiv 下載 DualPath 論文，在你的 LLM 服務叢集中原型化雙路徑 KV-Cache 載入機制。

誰應關注：Researchers & Academics

背景與延伸：來自公開資料，非原文內容。引用 9 個來源。

•DualPath 在 DeepSeek 660B 生產級模型上實現離線推理吞吐量提升 1.87 倍，並顯著優化高負載下的 Time To First Token (TTFT)，同時 Token-to-Token 生成速度幾乎不受影響。
•實驗涵蓋 DeepSeek-V3、DeepSeek 27B、DeepSeek 660B 及 Qwen 32B 模型，在 1P1D、2P1D、1P2D 等預填充-解碼比例下，平均加速達 1.64 倍，最高達 2.46 倍。
•DualPath 每個節點為 DeepSeek 模型分配 80GB DRAM，而 SGL(MC) 則使用 1.5TB DRAM，證明其在不增加硬體成本下有效消除 KV-cache I/O 瓶頸。

•DualPath 建置於現代推理堆疊之上，利用 Storage-to-Decode 路徑與 RDMA 傳輸，聚合叢集儲存網卡為全球資源池，實現適應性排程與嚴格流量隔離。
•在 DeepSeek 660B 上相對於 Baseline 實現最高 1.87 倍加速，接近 Oracle 性能，表示 KV-cache I/O 幾乎被消除；在 DeepSeek 27B 上提升 1.78 倍，但受限於 1P1D 儲存頻寬。
•評估使用具長上下文與高快取重用之代理工作負載，涵蓋離線 Rollout 與線上服務情境，維持 Token-between Latency 穩定。

DualPath 將成為代理 LLM 推理系統標準優化框架

其證明透過重新設計資料載入路徑即可打破 I/O 牆，利用閒置解碼引擎頻寬提升近 2 倍吞吐，無需額外硬體。

將加速 DeepSeek V4 等後續模型之部署效率

論文聚焦長上下文代理工作負載，正符合 V4 強調之長上下文編碼與工程工作流程需求，提升生產環境吞吐與延遲穩定性。

2026-02

DeepSeek 與清華、北大發表 DualPath 論文於 arXiv

Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.

AI 週報

閱讀本週精選 AI 大事摘要 →

同主題

探索 #kv-cache

同產品

更多關於 DeepSeek

同來源

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源：机器之心 ↗

這是摘要，不是原文。去看原站，或訂閱每週簡報。

每週 AI 簡報

每週一封，可隨時退訂。