MXFP8 GEMM 達 cuBLAS 99% 效能

#fp8#gemm#nvidia-b200#ptxpytorchpytorchcudacublasmxfp8torchtitan

💡PyTorch MXFP8 達 cuBLAS 99% 速度—立即優化你的 FP8 訓練！

⚡ 30-Second TL;DR

有什麼變化

MXFP8 GEMM 核心達 cuBLAS 99% 效能

為什麼重要

讓 PyTorch 中的 FP8 訓練達近峰值效率，加速 NVIDIA B200 上的大型模型預訓練以節省成本。

下一步行動

依部落格在 TorchTitan 中實作 MXFP8 GEMM，加速 B200 GPU 的 FP8 預訓練。

誰應關注：Developers & AI Engineers

本篇為 AI 生成分析，非原文內容。

•MXFP8 格式採用 OCP (Open Compute Project) 微縮放 (Microscaling) 標準，透過共用縮放因子 (Shared Scaling Factor) 解決了傳統 FP8 在動態範圍上的限制，顯著提升了大型語言模型訓練的數值穩定性。
•該實作利用了 NVIDIA Hopper 架構的 Tensor Memory Accelerator (TMA) 與非同步複製指令，有效隱藏了記憶體存取延遲，這是達成 99% cuBLAS 效能的關鍵硬體優化。
•DeepEP (DeepSeek Expert Parallelism) 整合不僅限於 GEMM 優化，更針對 MoE (Mixture-of-Experts) 架構中的專家路由與通訊瓶頸進行了客製化 CUDA Kernel 設計，與 MXFP8 形成互補。

📊 競品分析▸ Show

特性/技術	MXFP8 (Meta/PyTorch)	NVIDIA cuBLAS (FP8)	AMD ROCm (MI300X)
核心優化	自定義 PTX/TMA 最佳化	閉源驅動層級優化	針對 CDNA 架構優化
效能基準	99% cuBLAS 效能	基準線 (100%)	視具體 Kernel 而定
硬體依賴	NVIDIA Hopper (B200)	NVIDIA 全系列	AMD Instinct 系列

MXFP8 實作細節：採用 8-bit 浮點數表示，並引入 4-bit 或 6-bit 的縮放因子，透過硬體指令集進行向量化解壓縮。
PTX 層級優化：直接編寫 PTX 指令以繞過編譯器限制，精確控制 Warp 層級的暫存器分配與共享記憶體 (Shared Memory) 的 Bank Conflict。
TorchTitan 整合：作為 PyTorch 原生訓練框架，TorchTitan 透過 FSDP2 (Fully Sharded Data Parallel) 結合 MXFP8，在 B200 上實現了顯存佔用與計算吞吐量的最佳平衡。
記憶體存取：利用 TMA (Tensor Memory Accelerator) 進行非同步數據搬移，將 MXFP8 數據塊從 HBM 載入至 Tensor Core 的暫存器檔案。