FP8 量化：預填充延遲與解碼速度的權衡

💡了解為何 FP8 量化可能會損害 LLM 的首個 Token 生成時間，即使它能加快整體生成速度。

⚡ 30-Second TL;DR

有什麼變化

FP8 量化導致長上下文提示的 TTFT 延遲增加了 58%。

為什麼重要

開發互動式 LLM 應用的開發者在使用量化模型時，必須考慮 TTFT 的飆升，因為這會直接影響用戶體驗。

下一步行動

若您的應用程式需要低延遲即時串流，請在切換至 FP8 量化前，先針對您的 LLM 工作負載進行 TTFT 效能分析。

誰應關注：Developers & AI Engineers

本篇為 AI 生成分析，非原文內容。

•FP8 量化在 NVIDIA Hopper 架構（如 H100）上通常能獲得硬體加速支援，但在 L4（Ada Lovelace 架構）上可能缺乏專用的 FP8 張量核心指令集，導致需要額外的軟體模擬開銷。
•預填充（Prefill）階段主要受限於計算密集型運算，而 FP8 在此階段的去量化（Dequantization）過程會增加算術運算複雜度，進而抵消了記憶體頻寬節省帶來的優勢。
•Gemma 2 9B 模型採用了滑動視窗注意力機制（Sliding Window Attention），這種架構特性在處理長序列時，對記憶體存取的模式與標準 Transformer 不同，進一步放大了 FP8 的量化誤差與延遲。
•除了 TTFT 延遲外，FP8 量化在某些模型權重分佈極端的情況下，可能會導致困惑度（Perplexity）的微小漂移，這在需要高精確度的推理任務中可能成為隱形成本。
•目前的推理引擎（如 TensorRT-LLM 或 vLLM）在處理 FP8 時，針對預填充階段的 Kernel 優化程度遠低於解碼（Decoding）階段，這是導致「預填充稅」的軟體層面主因。

📊 競品分析▸ Show

特性	FP8 量化 (NVIDIA L4)	INT8 量化 (AWQ/GPTQ)	FP16 (半精度)
TTFT 延遲	高 (受去量化影響)	中等	最低
解碼速度	極快 (頻寬受限)	快	中等
記憶體佔用	低	極低	高
硬體需求	需 FP8 支援	通用	通用

FP8 格式包含 E4M3 (4位指數, 3位尾數) 與 E5M2 (5位指數, 2位尾數) 兩種規格，Gemma 2 模型通常使用 E4M3 以維持精度。
預填充階段的延遲飆升源於矩陣乘法運算中，每個權重矩陣在進入 Tensor Core 前必須執行即時去量化，將 FP8 轉換為 FP16 或 BF16。
L4 GPU 的記憶體頻寬為 300 GB/s，相較於 H100 的 3.35 TB/s，在處理 FP8 去量化時更容易觸發計算瓶頸。
針對長上下文（Long Context）的優化，目前業界傾向於使用 KV Cache 量化（如 FP8 KV Cache）來緩解記憶體壓力，而非僅對權重進行 FP8 量化。