TorchAO 擴展邊緣 LLM 的 QAT

🔑 增強重點摘要

• •TorchAO 的 QAT 支援 int8 per-token 動態激活 (8da) 與 int4 grouped per-channel 權重 (4w)，可透過 prepare 和 convert API 應用於線性層[1][3]。
• •QAT 在 Llama3-8B 上恢復高達 96% 的 Hellaswag 準確度損失與 68% 的 Wikitext 困惑度損失，相較於 PTQ[3]。
• •TorchAO QAT 已整合至 torchtune 進行微調，以及 Unsloth 支援全參數與 LoRA 微調[3][4]。
• •初始實作採用模組替換方式，未來計畫遷移至 tensor subclasses 以提升與其他 PyTorch 功能的相容性[1]。

🛠️ 技術深入

• •QAT 使用 fake quantization 模擬 int8 動態 per-token 激活與 int4 per-channel 權重量化，在訓練期間於 forward pass 中插入假量化模組[1][3][5]。
• •prepare 步驟轉換模型線性層以模擬量化數值，convert 步驟將其轉為實際低位寬模組，可直接用於推理[3]。
• •支援 ExecuTorch 邊緣部署，針對 Llama2-7B 提供優於 GPTQ PTQ 的準確度[1][4]。
• •與 TorchTune 整合提供端到端微調與 QAT 流程，動機來自邊緣後端核心可用性與 LLM 量化研究[1][3]。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線