RX 9070 ROCm 搭配 Flash Attention 勝 Vulkan

有什麼變化

ROCm + flash attn：Qwen3-8B PP512 3,980 t/s (預設 5.5 倍)

為什麼重要

透過正確 ROCm 旗標解鎖 RDNA4 在本地 LLM 推理的潛力，縮小與 Vulkan 差距。早期基準測試指導 AMD GPU 優化。

下一步行動

使用 -DGGML_CUDA_FORCE_MMQ=ON -DGGML_HIP_GRAPHS=ON 建置 llama.cpp，並在 ROCm 7.2.1 上執行 --flash-attn。