資料修剪提升LLM事實記憶

🔑 增強重點摘要

• •該研究引入了名為「記憶容量」（Memory Capacity）的資訊理論度量標準，用於量化模型在給定參數規模下能可靠儲存的事實數量上限。
• •研究發現，當訓練資料中的事實密度超過模型參數的有效編碼能力時，模型會出現「災難性遺忘」或事實混淆，導致幻覺率顯著上升。
• •Apple提出的資料修剪策略並非基於傳統的語法過濾，而是透過計算訓練樣本的「驚奇度」（Surprisal）與事實價值，優先保留高資訊量且低冗餘的樣本，從而優化參數利用率。

🛠️ 技術深入

• •採用資訊理論框架，將事實記憶建模為從訓練語料庫到模型參數空間的資訊壓縮過程。
• •利用模型在訓練過程中的損失函數（Loss）變化，識別並移除對事實記憶貢獻度低或造成干擾的「雜訊」資料。
• •實驗證明，在保持模型參數規模不變的前提下，透過修剪後的精簡資料集訓練，事實回憶準確率（Fact Recall Accuracy）提升了約 15-20%。
• •該方法特別針對長尾事實（Long-tail facts）的記憶保留進行了優化，減少了模型在處理罕見知識時的幻覺現象。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線