預填充瓶頸勝過生成速度

🔑 增強重點摘要

• •預填充（Prefill）階段的運算特性屬於記憶體頻寬密集型（Memory-Bound），而生成（Decoding）階段則受限於記憶體頻寬與 KV 快取存取的交互影響，兩者在硬體資源需求上有本質差異。
• •針對長上下文（Long Context）處理，FlashAttention-3 等演算法透過優化 GPU 核心利用率，已顯著縮短預填充延遲，但對於超長序列（如百萬級 Token），預填充仍是系統延遲的主要貢獻者。
• •現有推論引擎（如 vLLM, TensorRT-LLM）多採用 PagedAttention 技術，旨在解決生成階段的記憶體碎片化，但該技術對預填充階段的加速效果有限，導致在處理大量並發請求時，預填充瓶頸會引發排隊效應。

🛠️ 技術深入

• •預填充階段（Prefill Phase）：屬於計算密集型（Compute-Bound）轉向記憶體頻寬密集型，主要受限於 GPU 的記憶體頻寬（Memory Bandwidth），而非單純的 TFLOPS。
• •生成階段（Decoding Phase）：屬於記憶體頻寬密集型，每個 Token 的生成都需要讀取完整的 KV 快取，導致其效能極度依賴記憶體頻寬。
• •KV 快取（KV Cache）：隨著上下文長度增加，KV 快取佔用的記憶體空間呈線性增長，導致預填充階段需要處理的資料量大幅增加，進而拉長處理時間。
• •計算瓶頸差異：預填充階段可透過並行化（Parallelization）提升效能，但生成階段因其自回歸（Autoregressive）特性，難以進行 Token 層級的並行化。

🔮 前景展望AI analysis grounded in cited sources