Self-Flow 讓多模態訓練效率提升 2.8 倍
Black Forest Labs 發布 Self-Flow，這是一種自監督流匹配框架，讓多模態 AI 模型無需 CLIP 等外部教師，即可同時學習表示與生成。它使用 Dual-Timestep Scheduling 進行自蒸餾，在圖像、影片與音頻達到最先進成果。此技術比 REPA 標準收斂快 2.8 倍，且無高原效應。
Search
Tag: #self-distillation6 results
執行閘控自我蒸餾技術提升跨系列遊戲生成能力
研究人員引入「嚴格啟動」（strict-launch）過濾機制以改善複雜專案的程式碼生成。透過使用無頭引擎執行作為驗證器，顯著提升了模型生成功能完整 Godot 專案的能力。
HERO：用於代理自我蒸餾的後見之明增強反思框架
HERO 是一個全新的自我蒸餾框架，透過將環境觀察轉化為可執行的步驟級診斷回饋，提升多輪代理的效能。它解決了多輪設定中常見的效能下降問題，並將回饋與代理當前的決策情境進行對齊。
RLSD：以更少運算建置自訂推理代理
JD.com 研究人員推出 RLSD，將強化學習與自蒸餾結合，用於高效推理模型訓練。它解決 RLVR 的稀疏回饋與 OPD/OPSD 的高運算成本。實驗顯示 RLSD 優於傳統方法，降低企業自訂模型開發門檻。
🔬
Apple：尷尬簡單的自蒸餾提升程式碼生成
Apple 推出尷尬簡單的自蒸餾方法，提升語言模型的程式碼生成能力。此技術在 r/LocalLLaMA 社群中受到關注。它提供簡單方式強化 LLM 效能，無需複雜設定。
DeIllusionLLM 彌補 LLM 知行差距
大型語言模型展現知行差距：辨識性提示下能偵測輸入缺陷，但生成回應時忽略。研究者推出 FaultyScience 基準與 DeIllusionLLM，任務級自迴歸框架透過自蒸餾統一判斷與推理。有效降低忽略錯誤的回應，同時維持推理效能。