駭客松冠軍分享 GPU 核心優化勝利

🔑 增強重點摘要

• •NVIDIA B200 採用 Blackwell 架構，配備第五代 Tensor Cores 支援 FP4、FP6 和 FP8 精度，相較 Hopper 架構的 Tensor Cores 提供兩倍密集矩陣運算吞吐量[1][4]。
• •B200 擁有 192 GB HBM3e 記憶體與 8 TB/s 頻寬，在 MLPerf Training v4.1 基準測試中，對 GPT-3 175B 預訓練和 LLaMA 70B LoRA 微調顯示相較 H200 約 2-2.2 倍速度提升[1][3]。
• •在推論基準中，單一 B200 使用 TensorRT-LLM 1.0 和 FP4 精度，對 Llama v4 Scout 模型在不同序列長度下輸出 9,356 至 14,699 tokens/sec[2]。
• •微基準研究顯示 B200 相較 H200 提供 1.56 倍混合精度吞吐量和 42% 更好能源效率，FP4 精度下 LLM 推論每 token 能量從 Hopper 的 12 J 降至 0.4 J[4]。

🛠️ 技術深入

• •B200 使用 Blackwell 架構，第五代 Tensor Cores 支援 FP4 (三倍吞吐量維持準確度)、FP6、FP8 精度，搭配雙 Transformer 引擎和 NVLink 5 (1.8 TB/s GPU 間頻寬)[1][4]。
• •192 GB HBM3e 記憶體與 6-8 TB/s 頻寬，適合長上下文 (128k tokens) 而不需卸載，預訓練大型 Transformer 模型時間減至 H100 的 1/4[1][3][4]。
• •在 DGX B200 系統上，使用 TensorRT-LLM 1.0 和 FP4，對 Llama v4 Maverick (8x B200) 達 12,678 output tokens/sec，對 Llama v4 Scout (1x B200) 在 max_seq_len=2048 下達 14,699 t/s[2]。
• •微調如 LLaMA-70B 相較 H200 快 2.2 倍，支援參數高效微調和 RLHF，能源效率提升 42%[4]。
• •記憶體頻寬為 LLM 推論瓶頸，B200 的 8 TB/s 相較 H200 的 4.8 TB/s 提供更快權重讀取[6]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線