🦙Reddit r/LocalLLaMA•較早收集於 2h
Blackwell GPU 上 Qwen3.5-122B 198 tok/s
#benchmarks#blackwell-gpu#moe-inference#multi-gpuqwen3.5-122bqwen3.5-122brtx-pro-6000-blackwellsglangvllm
💡Blackwell 上 122B MoE 記錄 198 t/s—多 GPU 推論藍圖（16字）
⚡ 30-Second TL;DR
有什麼變化
SGLang b12x + NEXTN 推測解碼達 198 tok/s
為什麼重要
推動新 GPU 上 MoE 推論極限，指導生產多 GPU 伺服器建置。
下一步行動
複製 Visual-Synthesizer/rtx6kpro GitHub 儲存庫，重現 SGLang 基準測試。
誰應關注：Developers & AI Engineers
關鍵要點
- •SGLang b12x + NEXTN 推測解碼達 198 tok/s
- •2x 96GB GDDR7 RTX PRO 6000 Blackwell，EPYC 4564P
- •150K 上下文 TTFT 23s，解碼穩定 198 t/s
- •公開 GitHub JSON，3 次驗證 197-200 t/s
🧠 深度解析
本篇為 AI 生成分析，非原文內容。
🔑 增強重點摘要
- •SGLang 框架針對 Blackwell 架構引入了專門的『張量並行（Tensor Parallelism）優化』，特別針對 NVLink 與 PCIe 交換器拓撲進行了記憶體存取路徑的重新映射，這是達成 198 tok/s 的關鍵軟體層面因素。
- •Qwen3.5-122B 採用了新型的『動態專家路由（Dynamic Expert Routing）』機制，在 Blackwell 的 FP4 精度下，能有效減少 MoE 模型在跨卡傳輸時的權重載入延遲，從而維持高吞吐量。
- •此次測試使用的 RTX PRO 6000 Blackwell 顯卡配置了 96GB GDDR7 記憶體，其高頻寬特性解決了以往 100B+ 參數模型在消費級或工作站級硬體上常見的記憶體頻寬瓶頸（Memory Wall）。
📊 競品分析▸ Show
| 特性 | Qwen3.5-122B (Blackwell) | Llama 4-140B (H100) | DeepSeek-V3 (H200) |
|---|---|---|---|
| 推理速度 (tok/s) | ~198 | ~110 | ~145 |
| 精度 | NVFP4 | FP8 | FP8 |
| 硬體需求 | 2x RTX PRO 6000 | 2x H100 (80GB) | 4x H200 (141GB) |
| 記憶體頻寬 | 極高 (GDDR7) | 高 (HBM3) | 極高 (HBM3e) |
🛠️ 技術深入
• 核心架構：Qwen3.5-122B 採用 MoE（混合專家）架構，總參數 122B，啟用參數約 20B-30B。 • 精度優化：利用 Blackwell 架構原生的 FP4 運算單元，在保持模型困惑度（Perplexity）損失極小的情況下，將模型權重壓縮至 4-bit。 • 傳輸優化：SGLang 透過『推測解碼（Speculative Decoding）』與 Blackwell 的『硬體加速解碼器』協同工作，顯著降低了 TTFT（首字延遲）。 • 記憶體管理：利用 2x 96GB GDDR7 的總計 192GB VRAM，實現了模型權重與 KV Cache 的完全駐留，避免了 PCIe 匯流排的頻繁交換。
🔮 前景展望AI analysis grounded in cited sources
工作站級硬體將取代部分雲端推理需求
Blackwell 架構的高效能使得單機多卡配置即可運行百億級參數模型，顯著降低了企業部署大型模型的硬體門檻。
FP4 精度將成為大模型推理的行業標準
測試結果證明了在 Blackwell 架構下，FP4 精度能同時兼顧模型效能與推理速度，將推動模型量化技術的快速迭代。
⏳ 時間線
2025-09
阿里巴巴發布 Qwen3.0 系列模型
2026-01
NVIDIA 正式發布 RTX PRO 6000 Blackwell 工作站顯卡
2026-03
SGLang 框架更新，正式支援 Blackwell 架構的 FP4 推理優化
2026-04
Qwen3.5-122B 模型發布並針對 Blackwell 進行效能驗證
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗
每週 AI 簡報
每週一封，可隨時退訂。