模型擴展讓擴散模型輸出更難追溯來源

💡MIT CSAIL 新研究挑戰開發者追溯哪些資料塑造擴散模型輸出的方式。

⚡ 30-Second TL;DR

有什麼變化

研究人員觀察到，移除特定訓練資料有時不會對擴散模型輸出造成可測量的影響。

為什麼重要

AI 開發者可能更難證明哪些訓練樣本影響了生成影像，也更難保證刪除的資料不再影響模型行為。這將提高來源追蹤、著作權審查與可靠機器遺忘流程的成本與複雜度。

下一步行動

在宣稱機器遺忘有效之前，請對你的擴散模型流程執行受控消融測試，確認移除代表性訓練樣本是否改變輸出分布。

誰應關注：Researchers & Academics

AI-generated analysis for this event.

•研究指出，這種現象與模型訓練過程中的『記憶效應』（Memorization）有關，當模型參數規模達到數十億級別時，單一訓練樣本的權重會被分散至整個參數空間，導致難以透過簡單的資料刪除來抹除特定資訊。
•MIT CSAIL 的研究團隊開發了一種名為『歸因分析框架』的技術，旨在量化訓練資料對模型輸出影像的貢獻度，發現隨著模型擴展，這種貢獻度呈現非線性的衰減趨勢。
•此研究挑戰了現行『機器遺忘』（Machine Unlearning）技術的有效性，顯示目前主流的遺忘演算法在超大規模擴散模型上可能無法完全移除特定受版權保護的視覺特徵。
•歸因衰減現象不僅影響著作權，還對『資料中毒』（Data Poisoning）防禦構成威脅，因為攻擊者只需注入極少量的惡意樣本，模型便可能在擴展過程中將其特徵深度內化，且難以被偵測或移除。
•研究人員建議，為了應對此挑戰，未來模型訓練可能需要引入『差異化隱私』（Differential Privacy）訓練機制，或在訓練階段即建立更嚴格的資料來源審計追蹤系統，而非依賴事後的資料移除。

歸因衰減機制：研究發現擴散模型在訓練過程中，透過反向擴散過程（Reverse Diffusion Process）將訓練資料的統計特徵分佈於權重矩陣中，當模型容量（Capacity）增加，單一資料點的梯度更新對權重的影響被稀釋。
評估指標：研究採用了基於影響函數（Influence Functions）的變體，用以計算訓練樣本對特定生成影像的影響力分數（Influence Score）。
實驗設置：測試對象涵蓋了 Stable Diffusion 系列及開源的 DiT（Diffusion Transformer）架構，觀察在不同參數規模（從百萬級到十億級）下的遺忘效果差異。
遺忘測試：使用了基於梯度上升（Gradient Ascent）的遺忘方法，對比移除資料前後模型生成影像的 FID（Fréchet Inception Distance）與 CLIP 分數變化。