Blackwell 上更快的擴散模型：MXFP8 與 NVFP4 搭配 Diffusers 和 TorchAO

🔑 增強重點摘要

• •MXFP8（Microscaling Formats）利用硬體層級的動態縮放技術，在保持模型精度的同時，顯著降低了 Blackwell 架構上的運算位元寬度，從而提升吞吐量。
• •NVFP4 是一種針對 NVIDIA 下一代架構設計的 4-bit 浮點格式，專門優化了權重壓縮，使得超大規模擴散模型能夠在單一 GPU 上運行，減少了對多卡並行通訊的依賴。
• •TorchAO（Architecture Optimization）透過自動化的核心融合（Kernel Fusion）與記憶體配置優化，將這些低精度格式無縫整合至 PyTorch 生態系統，降低了開發者手動調整底層 CUDA 程式碼的門檻。

🛠️ 技術深入

• •MXFP8 採用 OCP（Open Compute Project）標準，透過共享指數（Shared Exponent）機制，在維持 FP8 範圍的同時，實現了比傳統 FP8 更高的硬體利用率。
• •NVFP4 格式利用了 Blackwell GPU 的 Tensor Core 專用硬體路徑，針對擴散模型中常見的權重分佈進行了非線性量化，以減少量化誤差。
• •TorchAO 透過 torchao.quantization 模組，支援動態與靜態量化路徑，並針對 Blackwell 的 Transformer Engine 進行了算子級別的優化，特別是針對 U-Net 與 Transformer 區塊的矩陣乘法運算。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線