Search

Tag: #model-training40 results

PACED:學生能力邊界蒸餾

PACED:學生能力邊界蒸餾

PACED 透過 Beta 加權通過率,針對學生模型的最近發展區優化 LLM 蒸餾,避免在已掌握或遙不可及問題上浪費計算資源。它證明了加權的 SNR 最佳性與 minimax 穩健性。實證結果顯示在前向 KL、自蒸餾及兩階段流程中,在推理基準上獲得提升。

ArXiv AIResearchMar 13#distillation#model-training
Page 3 of 4