📄ArXiv AI•較早收集於 5h
PACED：學生能力邊界蒸餾
💡理論+基準：PACED 蒸餾提升效率，減少 LLM 浪費
⚡ 30-Second TL;DR
有什麼變化
證明梯度 SNR 在通過率極端處消失。
為什麼重要
減少蒸餾計算浪費，讓小型模型訓練更高效。支援無能力損失的更好知識轉移，適合資源受限的 AI 團隊。
下一步行動
在蒸餾腳本中使用學生通過率實作 Beta 加權 (α=0.5, β=0.5)。
誰應關注：Researchers & Academics
關鍵要點
- •證明梯度 SNR 在通過率極端處消失。
- •Beta 核 w(p)=p^α(1-p)^β 為領先階最佳權重。
- •推理基準顯著提升，遺忘率低。
- •兩階段前向後反向 KL 效果最佳。
- •僅需學生模型 rollout 估計通過率，無架構變更。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗
每週 AI 簡報
每週一封，可隨時退訂。