RTX PRO 6000 MoE 基準測試：最高 50.5 tok/s

🔑 增強重點摘要

• •RTX PRO 6000 採用 Blackwell 架構，配備 96GB GDDR7 記憶體與 1.792 TB/s 頻寬，支援 NVFP4 量化以提升大型模型推論效率。[1][7][8]
• •單張 RTX PRO 6000 在 30B AWQ 模型上達 8,400 tok/s，接近 4x RTX 4090 的 8,900 tok/s，功耗更低。[1]
• •相較資料中心 GPU，單 GPU 推論中 RTX PRO 6000 吞吐量超越 H100 (3,140 vs 2,987 tok/s)，每令牌成本降低 28%。[3]

🛠️ 技術深入

• •Blackwell 架構包含第 5 代 Tensor Cores (752 個) 與第 4 代 RT Cores (188 個)，單精度 125 TFLOPS，RT 核心 380 TFLOPS。[5][7]
• •512-bit 記憶體匯流排，PCIe 5.0 介面，TDP 約 600W，內建原生 FP4/NVFP4 支援以優化量化 LLM 推論。[7][8]
• •在 vLLM 引擎下，適合 AWQ/FP8 量化模型，96GB VRAM 允許 70B FP8 或更大批次處理。[1][9]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線