PyTorch ExecuTorch 登陸 Arm 微邊緣裝置

🔑 增強重點摘要

• •ExecuTorch 1.0 GA 版本整合 Arm KleidiAI、TOSA 和 CMSIS-NN 後端，自動為 Arm CPU、GPU 和 NPU 提供效能與效率提升。[1]
• •支援 Arm SME2 指令集，在 vivo X300 智慧型手機上實現高達 3.9 倍端到端推論加速，將單核心延遲從超過一秒降至約 300 毫秒。[2]
• •Qualcomm 貢獻 Hexagon NPU 委託器，讓開發者將模型卸載至 NPU 以提升效能與功耗效率，適用於手機、PC 和 IoT 裝置。[4]

🛠️ 技術深入

• •使用 ahead-of-time (AOT) 編譯流程：透過 torch.export() 擷取 PyTorch 模型圖形、編譯量化與優化後產生 .pte 檔案，並以輕量 C++ 運行時在裝置上載入執行。[5]
• •內建 torchao 量化支援，包括 8-bit、4-bit 和動態量化；提供記憶體規劃、ETDump 剖析器、ETRecord 檢查器和選擇性建置以最小化二進位大小。[5]
• •後端整合包括 XNNPACK（委託 CPU 運算，使用 Arm KleidiAI）、Arm Ethos-U NPU 和 Vulkan GPU；支援動態形狀與自訂運算子。[2][7]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線