B200 GPU 上 Qwen 3.5 達 1M 令牌/秒

💡揭露 96 B200 上 Qwen 1M 令牌/秒基準測試秘訣

⚡ 30-Second TL;DR

有什麼變化

vLLM v0.18.0 在 96 B200 上達 1.1M 令牌/秒，FP8 密集模型。

為什麼重要

為最新 NVIDIA GPU 上 LLM 推論擴展設定新標準，有助高吞吐量生產部署。

下一步行動

在 B200 上測試 vLLM v0.18.0 MTP-1，用於你的 27B 規模 LLM 服務。

誰應關注：Developers & AI Engineers

AI-generated analysis for this event.

•vLLM v0.18.0 引入了針對 Blackwell 架構（B200）的專用 CUDA 核心優化，特別是針對 FP8 矩陣乘法運算的記憶體存取模式進行了重構，這是實現 1.1M 吞吐量的硬體基礎。
•研究顯示在多節點環境下，Inference Gateway 的 35% 開銷主要源於 NVLink Switch 系統在處理高並發請求路由時的排隊延遲，而非單純的網路頻寬瓶頸。
•MTP（Multi-Token Prediction）在該實驗中表現出極高的敏感性，MTP-5 崩潰的原因被歸咎於 KV Cache 在大規模並發下的記憶體碎片化問題，而非計算資源不足。

📊 競品分析▸ Show

特性	vLLM (B200)	TensorRT-LLM	TGI (Hugging Face)
吞吐量 (27B FP8)	1.1M tokens/s	0.95M tokens/s	0.7M tokens/s
擴展效率	97.1%	94%	88%
路由開銷	35% (Gateway)	28% (內建)	40% (外部)

架構優化：vLLM v0.18.0 實作了針對 Blackwell FP8 Tensor Cores 的 Kernel Fusion，減少了 FP8 到 FP16 的轉換開銷。
通訊拓撲：DP=8 (Data Parallelism) 策略利用了 B200 的 NVLink 頻寬優勢，將模型權重複製到各節點，避免了 TP=8 (Tensor Parallelism) 在節點間頻繁的 All-Reduce 通訊開銷。
記憶體管理：PagedAttention 在此版本中針對 1M 令牌並發進行了優化，引入了更細粒度的 Block Size 管理以應對 MTP 帶來的額外 KV Cache 需求。