ExecuTorch 實現裝置端語音代理

🔑 增強重點摘要

• •ExecuTorch 採用 ahead-of-time (AOT) 編譯流程，包括 torch.export 匯出、量化優化及生成 .pte 檔案，用於輕量 C++ 運行時執行。
• •支援 XNNPACK 後端優化行動 CPU 效能，並整合 Arm KleidiAI、TOSA 及 CMSIS-NN 後端，提升 Arm 裝置的 CPU、GPU 及 NPU 效能。
• •已應用於 Meta 應用如 Instagram、WhatsApp 及 Reality Labs 的手部追蹤與控制器追蹤，提供真實世界生產部署。
• •ExecuTorch 1.0 GA 版本擴大硬體支援至微控制器、行動裝置及筆電，涵蓋 CPU、GPU、NPU，並維持 PyTorch 工作流程一致性。

🛠️ 技術深入

• •ExecuTorch 工作流程：1. 使用 torch.export() 擷取 PyTorch 模型圖；2. 透過 to_edge_transform_and_lower() 及後端如 XnnpackPartitioner 編譯量化；3. 生成 .pte 檔案並以 C++ 運行時載入執行。
• •量化支援：內建 torchao 提供 8-bit、4-bit 及動態量化，將浮點權重轉為 int8 以降低記憶體及運算成本。
• •進階功能：記憶體規劃（ahead-of-time 分配）、選擇性建置（移除未用運算子）、動態形狀支援（變動輸入大小）、自訂運算子及開發工具如 ETDump 剖析器。
• •後端整合：XNNPACK 用於行動 CPU、Arm Ethos-U 微控制器，支援 iOS、Android、嵌入式 Linux 如 Raspberry Pi 及 NVIDIA Jetson。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線