RTX 5090 上 cuBLAS MatMul 效能 Bug 降 60%

🔑 增強重點摘要

• •NVIDIA 已確認此問題與 Blackwell 架構的非對稱記憶體存取模式有關，特別是在消費級 RTX 50 系列的驅動程式排程器中，未能正確識別 FP32 矩陣乘法的最佳執行緒區塊配置。
• •社群開發者指出，該問題不僅限於 cuBLAS，在 cuDNN 的特定卷積算子中也觀察到類似的資源利用率低下現象，暗示底層 CUDA 驅動程式在處理非同步記憶體複製（TMA）時存在排程邏輯缺陷。
• •硬體分析顯示，RTX 5090 的 SM（串流多處理器）在執行此類任務時，因暫存器壓力過大導致執行緒排程器頻繁切換至低效的『空轉等待』狀態，而非完全利用 Tensor Core 的吞吐量。

🛠️ 技術深入

• •問題核心：cuBLAS 函式庫在 Blackwell 架構上針對 FP32 矩陣乘法（MatMul）派遣了過於保守的執行緒區塊（Thread Block）大小，導致 SM 佔用率（Occupancy）僅達理論峰值的 40%。
• •TMA（Tensor Memory Accelerator）機制：自訂核心透過手動優化 TMA 雙緩衝（Double Buffering）策略，將資料預取（Prefetching）與計算重疊，有效隱藏了全域記憶體存取延遲。
• •效能瓶頸：RTX 5090 在處理 256x256 至 8192x8192 矩陣時，因驅動程式未能觸發最佳的 FMA（Fused Multiply-Add）指令路徑，導致算術強度（Arithmetic Intensity）遠低於 Pro 6000 系列的 73% 水準。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線