NVIDIA Blackwell 於 STAC-AI LLM 推論創金融紀錄

🔑 增強重點摘要

• •NVIDIA Blackwell B200 在 InferenceMAX v1 基準中達到每 GPU 60,000 tokens/秒吞吐量，並在 gpt-oss 模型上實現每用戶 1,000 tokens/秒互動性[1]。
• •Blackwell 透過軟體優化自推出以來效能已提升超過兩倍，使用 TensorRT-LLM、Dynamo 等框架支援推論[1]。
• •在 STAC-AI 相關金融基準外，Blackwell 在 SemiAnalysis InferenceX v2 中對比 Hopper 實現高達 100x FP4 效能提升[5]。
• •Blackwell Ultra GB300 NVL72 在低延遲代理 AI 工作負載上對比 Hopper 提供 50x 更高每兆瓦吞吐量與 35x 更低每百萬 tokens 成本[2]。

🛠️ 技術深入

• •第五代 Tensor Cores 支援 FP4 精度計算，比 FP8 快兩倍，Blackwell Ultra 更達三倍[3][6]。
• •第二代 Transformer Engine 使用 Blackwell Tensor Core 加速 LLM 和 Mixture-of-Experts 模型推論與訓練[6][7]。
• •支援推測解碼 (speculative decoding)，如 gpt-oss-120b-Eagle3-v2 模型，將每用戶 100 TPS 吞吐量提升三倍[1]。
• •TensorRT-LLM 軟體堆疊優化，提供 10x 每兆瓦吞吐量與 15x 更低每百萬 tokens 成本，對比前代[1]。
• •GB300 NVL72 系統在 rack 規模下實現 55x 至 100x 效能優勢，使用 FP4 對比 Hopper FP8[5]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線