Dynamo 1.0 Powers Multi-Node Inference

•NVIDIA Dynamo 透過分離預填充和解碼階段到不同的 GPU 上，實現了 1.2 百萬令牌/秒的吞吐量，達到企業級推理性能基準[1][3]
•Dynamo 的SLA 型規劃器使用時間序列預測動態調整 GPU 資源分配，根據實時流量需求自動優化預填充/解碼工作者數量以滿足延遲目標[1][3]
•智能請求路由機制計算傳入請求與分佈式 GPU 叢集中活躍 KV 快取區塊的重疊分數，減少不必要的重新計算並降低推理時間[6]
•Dynamo 已整合至所有主要雲端供應商的託管 Kubernetes 服務（AWS、Google、Microsoft、OCI），使組織無需自訂基礎設施即可部署[4]
•Baseten 使用 Dynamo 實現長上下文程式碼生成推理速度提升 2 倍、吞吐量增加 1.6 倍，且無需額外硬體成本[4]

核心架構與最佳化技術

分離式推理設計：預填充階段（計算密集型）與解碼階段（記憶體受限型）分別部署在獨立優化的 GPU 上，預填充使用較高張量平行度加速注意力 GEMM 運算，解碼使用不同平行度最大化記憶體頻寬[1][6]
動態 GPU 排程：SLA 型規劃器透過預部署分析評估模型平行度和批次處理對效能的影響，推薦滿足時間到首令牌（TTFT）和令牌間延遲（ITL）目標的配置[1]
KV 快取管理：支援跨多個記憶體層級的 KV 快取卸載，防止快取成長超過 GPU 記憶體導致的驅逐和重新計算[1][6]
加速資料傳輸：整合 NVIDIA 推理 Xfer 庫（NIXL）實現低延遲跨節點通訊[2][7]
智能路由演算法：計算傳入請求與現有 KV 快取區塊的重疊分數，自動將請求路由至最適合的工作者以最小化重新計算[6]
效能指標：在 ND GB200-v6 實例上達成 1.2 百萬令牌/秒，在 GB200 NVL72 系統上實現 DeepSeek-R1 等混合專家模型的最低成本/百萬令牌[1][4]

分離式推理將成為大型推理模型的標準部署模式

DeepSeek-R1 等現代推理模型的成功案例表明，針對不同計算特性的獨立最佳化已成為必要條件，而非可選項。

雲端供應商將進一步整合 Dynamo 類框架至原生服務

所有主要雲端提供商已整合 Dynamo，表明分散式推理協調將演變為託管 Kubernetes 的標準功能。

推理成本優化將從硬體升級轉向軟體排程

Baseten 無需額外硬體即實現 1.6 倍吞吐量提升的案例表明，軟體層最佳化將成為降低推理成本的主要途徑。

2025-10

NVIDIA Dynamo 在 Azure Kubernetes Service（AKS）上達成 1.2 百萬令牌/秒基準，驗證企業級多節點推理能力

2025-12

NVIDIA Dynamo 與 Run:ai v2.23 整合，提供智能多節點排程功能

2026-01

NVIDIA 宣佈 Dynamo 已整合至 AWS、Google Cloud、Microsoft Azure 和 OCI 的託管 Kubernetes 服務

Dynamo 1.0 驅動多節點推論