🦙Reddit r/LocalLLaMA•較早收集於 13h
Qwen 3.5 27B 在 B200 上達 1.1M tok/s
💡B200 上 Qwen 27B 1.1M tok/s：公開 vLLM 配置，96% 擴展
⚡ 30-Second TL;DR
有什麼變化
vLLM 原生下 96 個 B200 GPU 達 1.1M tok/s
為什麼重要
證明最新 GPU 上密集 27B 模型可達超高吞吐。為生產叢集推理擴展設下標準。
下一步行動
使用 GitHub 配置在 B200 叢集上以 vLLM DP=8 複製 1.1M tok/s。
誰應關注：Developers & AI Engineers
關鍵要點
- •vLLM 原生下 96 個 B200 GPU 達 1.1M tok/s
- •每節點 10x 提升：DP=8、短上下文、FP8 KV、MTP 推測解碼
- •12 節點 96.5% 擴展效率；無需自訂核心
- •配置放 GitHub；GDN 優化即將上遊
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •此次測試展示了 vLLM 在大規模叢集調度上的成熟度，特別是透過 DP（資料並行）策略取代傳統 TP（張量並行）來規避跨節點通訊瓶頸，這是實現 96.5% 擴展效率的關鍵。
- •MTP-1（Multi-Token Prediction）推測解碼技術在此場景中不僅提升了吞吐量，還有效緩解了 B200 在處理較短上下文時的計算資源閒置問題。
- •GDN（Global Distributed Network）優化技術的引入，標誌著 vLLM 正從單機推理框架轉向針對超大規模 GPU 叢集進行原生優化的分散式推理引擎。
📊 競品分析▸ Show
| 特性 | Qwen 3.5 27B (vLLM) | TensorRT-LLM (NVIDIA) | TGI (Hugging Face) |
|---|---|---|---|
| 擴展效率 | 96.5% (12節點) | 極高 (需自訂核心) | 中等 |
| 易用性 | 高 (原生支援) | 低 (需編譯) | 中 |
| 推測解碼 | MTP-1 原生支援 | 支援 (需配置) | 支援 |
| 適用場景 | 大規模叢集推理 | 極致效能優化 | 快速部署 |
🛠️ 技術深入
- DP=8 vs TP=8 策略：在 12 節點配置下，採用 DP=8 策略將模型權重複製到各節點，減少了跨節點的 All-Reduce 通訊開銷，顯著提升了吞吐量。
- FP8 KV 快取：利用 B200 的 FP8 硬體加速特性，將 KV 快取記憶體佔用減半，從而允許在相同顯存下處理更長的 Batch Size。
- MTP-1 推測解碼：透過預測下一個 Token 的機制，減少了對主模型的存取次數，在不犧牲精度的前提下提升了有效 Token 生成速度。
- 硬體環境：測試基於 NVIDIA B200 Blackwell 架構 GPU，利用其高頻寬記憶體（HBM3e）優勢，在處理 27B 參數模型時達到了極高的計算密度。
🔮 前景展望AI analysis grounded in cited sources
大規模推理將轉向 DP 為主的並行架構
隨著叢集規模擴大，跨節點通訊延遲成為瓶頸，DP 策略在減少通訊開銷方面的優勢將使其成為超大規模推理的標準配置。
FP8 將成為 LLM 推理的預設精度標準
FP8 在保持模型精度與 FP16 相當的同時，能顯著提升吞吐量並降低記憶體佔用，已在 B200 等新一代硬體上證明了其實用性。
⏳ 時間線
2024-09
Qwen 2.5 系列模型發布，奠定 Qwen 在開源領域的基礎。
2025-03
vLLM 宣布對 Blackwell 架構 GPU 的初步支援。
2026-01
Qwen 3.5 系列模型發布，針對推理效能進行深度架構優化。
2026-03
vLLM v0.18.0 發布，正式引入針對大規模叢集的 GDN 優化。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗