FlashAttention-4 加入 Blackwell 低精度支援

•FlashAttention-4 採用 NVIDIA 的 CuTeDSL（Python 領域特定語言）完全重寫核心，取代了傳統龐大的 C++/CUDA 實作，將 JIT 編譯時間從 55 秒大幅縮短至約 2.5 秒。
•專為 NVIDIA Blackwell 架構重新設計，針對 SM100 移除 WGMMA 並引入新 TCGEN05 指令集與每 SM 獨立 256 KB Tensor Memory (TMEM) 硬體子系統進行管線化重構。
•克服 Blackwell 的非對稱硬體擴展（Asymmetric Hardware Scaling）瓶頸，解決 Tensor Core 算力翻倍但共享記憶體與指數運算單元未等比提升導致 Softmax 佔用過多運算時間的問題。
•相容性僅限於資料中心級 Blackwell GPU（SM100/SM103，如 B100、B200、GB200、B300）及 Hopper 架構，消費級晶片（如 RTX 5090 / SM120）因缺乏 TMEM 硬體而無法運行。
•在 HGX B200 基準測試中，FlashAttention-4 相較於 NVIDIA cuDNN (v9.13) 取得 1.2 至 1.3 倍的加速，並比 Triton 實作快 2.1 至 2.7 倍，已被整合進 vLLM 與 SGLang 等主流推論框架。

FlashAttention-4 (FA4 MX8)

支援硬體與架構特性: NVIDIA Blackwell 資料中心級 (SM100/SM103) & Hopper；利用 TCGEN05、TMEM 與 TMA
程式語言 / 編譯環境: CuTeDSL (Python DSL)；JIT 編譯僅需約 2.5 秒
相對 Blackwell HGX B200 效能表現: 基準最高效能（前向達 2.85 PFLOPS，反向達 2.0 PFLOPS）

NVIDIA cuDNN (v9.13)

Triton Attention

解決方案 / 核心框架	支援硬體與架構特性	程式語言 / 編譯環境	相對 Blackwell HGX B200 效能表現
FlashAttention-4 (FA4 MX8)	NVIDIA Blackwell 資料中心級 (SM100/SM103) & Hopper；利用 TCGEN05、TMEM 與 TMA	CuTeDSL (Python DSL)；JIT 編譯僅需約 2.5 秒	基準最高效能（前向達 2.85 PFLOPS，反向達 2.0 PFLOPS）
NVIDIA cuDNN (v9.13)	NVIDIA 資料中心與消費級 GPU；官方閉源最佳化核心	C++ / CUDA 靜態函式庫或封裝	比 FA4 慢約 1.2× 至 1.3×
Triton Attention	跨架構支援（NVIDIA、AMD 等開源編譯器堆疊）	Python-based Triton JIT	比 FA4 慢約 2.1× 至 2.7×

架構指令轉型：Blackwell SM100 完全棄用了 Hopper 架構的 WGMMA 指令，改用全新 TCGEN05 指令集，並結合每 SM 配備的 256 KB Tensor Memory (TMEM) 與硬體管理的 TMA (Tensor Memory Accelerator)。
非對稱硬體擴展因應：Blackwell 的 FP16/BF16 Tensor Core 算力相較 Hopper 翻倍（達 2.25 PFLOPS），但共享記憶體頻寬與指數運算單元（SFU）未成比例擴展，導致 Softmax 等非矩陣乘法操作在無管線重排時佔比高達 25%–60%；FA4 透過選擇性重新縮放與精細重疊排程消除此瓶頸。
CuTeDSL 語言實作：捨棄傳統單體 C++/CUDA 開發模式，改採純 Python 的 CuTeDSL 撰寫核心管線，保留極致硬體裸機效能的同時大幅縮短 JIT 編譯延遲（~2.5 秒）。
深度整合 FlexAttention：直接內嵌於 PyTorch 的 torch.nn.attention.flex_attention API，允許開發者以純 Python 自訂 Mask 與注意力分數計算，並自動轉譯為 FA4 高效核心運行。

消費級 GPU 與資料中心 GPU 在高效能注意力運算上的軟體生態將正式分流

由於 FA4 高度依賴 SM100/SM103 的 TMEM 硬體架構，消費級晶片（SM120）因硬體閹割無法執行該核心，將迫使推論社群維護兩套完全獨立的注意力和量化執行路徑。

MXFP8 將在主流開源大型語言模型推論框架中迅速取代 FP8/BF16 成為預設推論格式

FA4 透過 CuTeDSL 整合進 vLLM 與 SGLang，並在 Blackwell 上提供高達 2.85 PFLOPS 的實測前向吞吐量，能顯著降低資料中心算力持有成本。

2026-03

arXiv 發表 FlashAttention-4 演算法與非對稱硬體擴展論文 (arXiv:2603.05451)

2026-03

PyTorch 正式發布 FlexAttention 與 FlashAttention-4 整合後端

2026-09

PyTorch 部落格正式發表支援 Blackwell 低精度 MXFP8 的 FlashAttention-4

30 秒速覽