Understanding PyTorch Compile Speed: The Power of Kernel Fusion

•PyTorch Compile 透過多個核心組件協同運作來實現優化：TorchDynamo 負責圖形捕獲，AOTAutograd 負責提前追蹤反向傳播，PrimTorch 負責運算子規範化，而 TorchInductor 則負責程式碼生成，通常會利用 Triton 來生成 GPU 核心。
•torch.compile 是一個即時 (JIT) 編譯器，能夠處理任意 Python 程式碼，透過允許「圖形中斷」(graph breaks) 來實現。當遇到不支援的程式碼時，它會回退到 eager 執行模式，從而避免錯誤，但可能會損失部分優化機會。這與舊版編譯器（如 TorchScript）有顯著區別。
•預設的後端 TorchInductor 能為 CPU 生成高度優化的 C++/OpenMP 程式碼，並利用 OpenAI 的 Triton 編譯器為 NVIDIA、AMD 和 Intel GPU 生成高效能核心，其效能可與手寫 CUDA 核心媲美。
•torch.compile 提供多種編譯模式（例如 default、reduce-overhead 和 max-autotune），讓使用者可以根據其特定工作負載，平衡編譯時間、記憶體使用量和執行速度。
•除了核心融合，torch.compile 還應用其他優化技術，例如記憶體存取優化（包括平鋪和記憶體佈局變換）和形狀專門化，以最大限度地提高硬體利用率並減少記憶體瓶頸。

📊 競品分析▸ Show

特性/產品	PyTorch Compile	JAX JIT/XLA	TensorFlow XLA
編譯類型	即時 (JIT) 編譯	即時 (JIT) 編譯	即時 (JIT) / 提前 (AOT) 編譯
圖形捕獲	Python 層級 (TorchDynamo)，支援圖形中斷並回退到 eager 模式，提供高度靈活性。	函數式編程範式 (純函數)，透過追蹤操作並編譯為優化機器碼。	優化計算圖，將多個操作融合為單一高效操作。
GPU 核心生成	預設使用 TorchInductor，針對 NVIDIA/AMD/Intel GPU 利用 OpenAI Triton 生成高效能核心。	使用 XLA (Accelerated Linear Algebra) 編譯器生成針對 CPU、GPU 和 TPU 優化的機器碼。	使用 XLA 編譯器生成針對 CPU、GPU 和 TPU 優化的機器碼。
動態形狀支援	PyTorch 2.0 引入了對動態形狀的支援，允許在不重新編譯的情況下適應變化的輸入大小。	針對輸入陣列的形狀進行專門化，若形狀頻繁變化可能觸發重新編譯。	透過圖形優化和硬體專門化來處理。
主要優化	核心融合、減少 Python 開銷、最小化記憶體存取延遲、自動化圖形優化。	運算子融合、減少記憶體頻寬需求、攤銷核心啟動開銷、硬體專門化。	運算子融合、減少記憶體使用和計算開銷、硬體專門化、消除框架開銷。

torch.compile 的核心是 TorchDynamo，它利用 CPython 的框架評估 API (PEP 523) 安全地捕獲 Python 位元碼，並將其轉換為 FX Graph，這是一種中間表示 (IR)。
對於模型訓練，AOTAutograd 會生成一個結合了前向和反向傳播的圖形，這使得跨兩個階段的融合成為可能，並可透過激活重計算 (activation rematerialization) 來節省 GPU 記憶體。
PrimTorch 專案將 PyTorch 中數千個運算子規範化為大約 250 個更小、更易於管理的原始運算子集，從而簡化了後端開發。
預設的編譯器後端 TorchInductor 負責生成優化的程式碼。它為 CPU 生成 C++/OpenMP 程式碼，並利用 OpenAI 的 Triton 編譯器為 NVIDIA、AMD 和 Intel GPU 生成高效能核心。
Triton 是一種嵌入 Python 的領域特定語言 (DSL)，它將程式碼編譯為 PTX (Parallel Thread Execution) 程式碼，抽象化了低階 CUDA 細節，並專注於區塊級別的程式設計以優化記憶體存取和管理。
torch.compile 還可以與 CUDA Graphs 整合，進一步優化，特別是對於推論工作負載，透過將多個 GPU 核心組合成可重複執行的序列。

PyTorch 編譯器堆疊將持續擴展對動態形狀和分散式運算的支援。

PyTorch 2.0 已引入對動態形狀的初步支援，且持續開發旨在在不犧牲效能的情況下進一步增強靈活性。

torch.compile 的採用將成為在生產環境中部署 PyTorch 模型的標準做法。

torch.compile 在推論和訓練方面持續展現顯著的加速效果，使其成為在實際應用中實現更高吞吐量和更低延遲的關鍵工具。

Triton 等底層技術將在 PyTorch 之外獲得更廣泛的採用，成為編寫高效能、硬體無關 GPU 核心的事實標準。

Triton 能夠簡化 GPU 編程，同時實現專家級效能，這使其對各種深度學習編譯器和自定義核心開發具有吸引力。

2016-09

PyTorch 初次發布

2021-07

OpenAI 發布 Triton 1.0，一種用於高效 GPU 程式碼的開源 Python 類程式語言

2022-12-02

在 PyTorch 大會上宣布 PyTorch 2.0，重點介紹 `torch.compile` 及其底層技術 (TorchDynamo, AOTAutograd, PrimTorch, TorchInductor)

2023-03-15

PyTorch 2.0 穩定版發布，正式引入 `torch.compile`

2025-02-22

關於 `torch.compile` 和核心優化技術的深入探討文章發布

2026-02-08

PyTorch 編譯器堆疊 (TorchDynamo, AOTAutograd, TorchInductor) 及其 Triton 使用的詳細解釋廣泛可用

深入了解 PyTorch Compile：Kernel Fusion 的加速威力