舊款 GPU 透過軟體實現 FP8 推論

#fp8#quantizationfeatherfeathertinylamatritonrtx-3050

💡在 RTX 3050 等舊 GPU 上以 FP8 模擬解鎖 1.5 倍推論加速（68 字元）

⚡ 30-Second TL;DR

有什麼變化

透過 Triton 核心在 Ampere/Turing/Volta 上軟體模擬 FP8

為什麼重要

讓舊款 GPU 高效運行 LLM 推論，延長硬體壽命並降低無 H100 存取者的成本。有望激勵邊緣部署的量化研究。

下一步行動

複製 Feather GitHub 儲存庫，在你的 RTX 3050 上基準測試 TinyLlama。

誰應關注：Developers & AI Engineers

背景與延伸：來自公開資料，非原文內容。引用 5 個來源。

•Feather 使用 ml_dtypes 庫處理 E4M3 轉換，並透過 Triton 撰寫 GPU 核心，將打包的 FP32 值解包、上轉至 FP32 計算後累積結果，以確保數值穩定性。[1]
•在 RTX 3050 6GB GPU 的 GEMV 測試 (16384x16384 矩陣) 中，Feather 的 FP8-E5M2 達 3.3 倍加速，E4M3 達 2.13 倍，相較標準 FP32 PyTorch。[1]
•Feather 目前處於早期開發階段，存在打包/解包額外開銷、無完整硬體加速及部分 FP8 格式支援限制，但適用於推論、大模型訓練及注意力機制等記憶體密集作業。[1]

•核心技術：將兩個 FP16 或四個 FP8 值打包至單一 FP32 容器，減少記憶體佔用並提升頻寬利用率。[1]
•計算流程：Triton 核心內解包 FP32 值、上轉至 FP32 進行安全計算，並累積結果，同時利用 ml_dtypes 處理 E4M3/E5M2 轉換以維持精度。[1]
•效能瓶頸解決：針對記憶體頻寬限制的場景，如舊 GPU、邊緣裝置或低預算設定，提供低精度計算模擬而不需新硬體。[1]