新 LLM 幻覺修復僅用 10% 資料

🔑 增強重點摘要

• •此技術的核心機制為「選擇性對比後訓練」（Selective Contrastive Post-training），其設計初衷是為了在不大幅增加計算成本的前提下，解決 LLM 在長文本生成中後期容易出現的邏輯漂移與事實錯誤。
• •該方法引入了動態閘控機制（Gating Mechanism），透過設定閾值 τ 來過濾掉那些模型已經具備足夠信心或表現良好的樣本，從而將訓練資源集中在模型最容易產生幻覺的「邊緣案例」（Edge Cases）。
• •研究顯示，該方法不僅能提升事實準確性，還能顯著降低模型在對比學習過程中常見的「過度擬合」（Overfitting）風險，因為它僅針對分歧點後的序列進行損失計算，保留了基礎模型原有的語言生成能力。

🛠️ 技術深入

• •損失函數定義：採用對比損失（Contrastive Loss），僅在生成序列 y+（正確答案）與 y-（自我生成的壞答案）出現分歧的 token 位置 t* 之後開始計算損失。
• •閘控邏輯：定義 Δ = L(y-) - L(y+)，僅當 Δ < τ 時執行梯度更新，這確保了模型僅學習那些「難以區分正確與錯誤」的樣本。
• •資料效率：透過僅針對 10% 的高價值樣本進行訓練，該方法在保持模型通用能力的同時，顯著降低了對大規模標註數據集的依賴。
• •基礎架構：該方法與模型架構無關（Model-agnostic），適用於大多數基於 Transformer 的解碼器模型，無需修改原始模型權重結構。

🔮 前景展望AI analysis grounded in cited sources