在 LoRA 適配器上使用 EMA 進行自我蒸餾

#fine-tuning#parameter-efficient#distillationloralora

💡了解 EMA 是否能透過自我蒸餾穩定 LoRA 訓練並提升模型效能。

⚡ 30-Second TL;DR

有什麼變化

研究 EMA 作為參數高效微調的自我教師機制

為什麼重要

如果成功，這種方法可以在不增加全模型更新計算成本的情況下，提高 LoRA 微調的穩定性和性能。

下一步行動

閱讀關於策略內自我蒸餾的參考論文，並嘗試進行小規模實驗，將 EMA 應用於您的 LoRA 秩更新矩陣。

誰應關注：Researchers & Academics

本篇為 AI 生成分析，非原文內容。

•EMA 在 LoRA 中的應用通常被稱為 'LoRA-EMA' 或 'EMA-Distill'，旨在解決微調過程中權重震盪導致的災難性遺忘問題。
•研究顯示，將 EMA 應用於 LoRA 適配器權重而非主模型權重，可顯著降低顯存佔用，同時保持與全參數蒸餾相當的性能。
•自我蒸餾機制利用 EMA 權重作為穩定的教師模型，能有效平滑訓練過程中的損失函數地形（Loss Landscape），從而提升模型在分佈外（OOD）數據上的泛化能力。
•實證研究指出，EMA 的衰減係數（decay factor）通常設定在 0.999 到 0.9999 之間，對於 LoRA 的低秩矩陣更新最為有效。
•該技術已被應用於多模態大模型（LMM）的微調中，特別是在視覺指令微調階段，以防止模型在學習新任務時喪失基礎視覺特徵提取能力。

核心機制：在訓練過程中維護一個與 LoRA 適配器權重（A 和 B 矩陣）維度相同的 EMA 副本，更新公式為 θ_ema = α * θ_ema + (1 - α) * θ_lora。
損失函數：總損失通常定義為 L = L_task(y, f(x; θ_lora)) + λ * KL(f(x; θ_ema) || f(x; θ_lora))，其中 KL 散度項強制學生模型模仿教師模型的輸出分佈。
顯存優化：由於僅對 LoRA 的低秩矩陣進行 EMA 更新，額外增加的顯存開銷僅為原始 LoRA 參數量的兩倍，遠低於全參數模型蒸餾。
訓練穩定性：EMA 權重充當了移動平均的教師，能過濾掉訓練初期隨機梯度下降（SGD）帶來的噪聲，使適配器收斂至更平坦的極小值點。