FlexAttention 新增 FlashAttention-4 後端

🔑 增強重點摘要

• •FlashAttention-4 採用 warp-specialized 5-stage pipeline，在 Blackwell GPU 上實現比 FlashAttention-3 更高的管線重疊與晶片內重用[1][2]。
• •FA4 透過 CUDA 核心執行軟體 exp2() 多項式近似，取代 SFU 進行 softmax 計算，避免瓶頸並提升並行性[1][2]。
• •FA4 引入自適應線上重縮放機制，僅在最大值變化足夠影響數值穩定性時重縮放，減少約 10 倍重縮放操作[1][2]。
• •FlashAttention-4 在 Blackwell 上比 cuDNN 注意力核心快約 20%，並支援分頁 KV 快取與 attention sinks[2][5]。

🛠️ 技術深入

• •FA4 使用高度管線化排程，將注意力計算分解為多組並行階段，由專門 warp group 處理不同責任，提升延遲隱藏與 GPU 資源利用率[1][2]。
• •softmax 優化包括軟體 exp2() 立方多項式近似（在 CUDA 核心執行）與智慧重縮放（僅當 m 變化超過閾值時更新）[1][2]。
• •內部以 CTA（cooperative thread array）為單位處理 Q/K/V 磚塊，支援 Tensor Memory 中的 tP/tO 更新，並整合非同步生產者-消費者管線[2]。
• •針對 Blackwell SM100 架構設計，支援低精度版本、分頁 KV 張量與 attention sinks，用於長上下文處理[5]。
• •頭維度支援至 256，後向傳播需 A100/H100 等高階 GPU，記憶體使用線性於序列長度，提供 10-20X 節省[3]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線