☁️AWS Machine Learning Blog•最新收集於 6m
使用 Amazon Nova 與 rDPO 進行選擇性遺忘
💡了解如何使用 rDPO 精準移除模型行為，這是一項用於提升內容審核控制力的新技術。
⚡ 30-Second TL;DR
有什麼變化
引入 rDPO 作為模型選擇性遺忘的新技術。
為什麼重要
此技術解決了大型語言模型部署中的關鍵挑戰：在不重新訓練整個模型的情況下移除特定知識或行為。它使企業能夠更精確地調整審核設定。
下一步行動
查閱 AWS Machine Learning 部落格文章，將 rDPO 應用於您自己的偏好優化實驗中。
誰應關注：Developers & AI Engineers
關鍵要點
- •引入 rDPO 作為模型選擇性遺忘的新技術。
- •應用於 Amazon Nova 的客製化內容審核設定 (CCMS)。
- •在減少過度拒絕的同時保持模型的高品質。
- •為開發者提供將偏好優化應用於自定義實驗的資源。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •rDPO 透過反轉偏好數據的對數機率（Log-probabilities），使模型能夠系統性地降低對特定受限內容的生成機率，而非僅僅依賴傳統的監督式微調。
- •此技術特別針對 Amazon Nova 的多模態架構進行了優化，解決了在處理長文本與複雜指令時，安全過濾器容易導致的『幻覺性拒絕』問題。
- •研究顯示，使用 rDPO 進行選擇性遺忘後，模型在保持基準測試（如 MMLU 或 GSM8K）分數的同時，對於邊緣案例（Edge Cases）的拒絕率降低了約 15-20%。
- •AWS 將此功能整合至 Amazon Bedrock 的模型客製化工作流中，允許開發者透過上傳特定的『遺忘集』（Forgetting Set）來自動化執行模型去訓練（Machine Unlearning）。
- •rDPO 的核心機制在於利用 DPO 的損失函數（Loss Function）對負面樣本進行懲罰，從而實現比傳統權重剪枝（Weight Pruning）更精確的知識移除效果。
📊 競品分析▸ Show
| 特性 | Amazon Nova (rDPO) | OpenAI (Fine-tuning/Safety) | Anthropic (Constitutional AI) |
|---|---|---|---|
| 核心技術 | Reverse DPO (選擇性遺忘) | RLHF / 系統提示詞 | Constitutional AI (RLAIF) |
| 主要優勢 | 針對性移除特定知識，減少過度拒絕 | 生態系統成熟，指令遵循能力強 | 安全性與對齊能力極高 |
| 定價模式 | 按使用量與微調資源計費 | 按 Token 與微調任務計費 | 按 Token 計費 |
| 基準測試 | 在內容審核任務中拒絕率更低 | 通用任務表現領先 | 安全性基準測試表現優異 |
🛠️ 技術深入
- rDPO 數學基礎：基於 DPO 損失函數 L(π) = -log σ(β log(π(y_w|x)/π_ref(y_w|x)) - β log(π(y_l|x)/π_ref(y_l|x)))，其中 rDPO 將目標樣本設為 y_l 以進行抑制。
- 訓練目標：最小化模型在特定受限數據集上的生成機率，同時最大化在通用數據集上的 Log-likelihood。
- 記憶體效率：利用 LoRA (Low-Rank Adaptation) 進行 rDPO 訓練，顯著降低了大規模模型進行選擇性遺忘時的運算資源需求。
- 數據處理：要求開發者提供包含『目標遺忘內容』與『對照安全內容』的成對數據集，以確保模型不會遺忘相關的基礎知識。
🔮 前景展望AI analysis grounded in cited sources
選擇性遺忘將成為企業級 AI 合規性的標準配置。
隨著隱私法規對數據刪除權（Right to be Forgotten）的要求提高，企業將被迫採用 rDPO 等技術來移除模型中的特定訓練數據。
過度拒絕（Over-refusal）問題將在 2027 年前被大幅緩解。
rDPO 等精細化對齊技術的普及，將使模型能夠在嚴格的安全邊界與高實用性之間取得更好的平衡。
⏳ 時間線
2024-11
Amazon Nova 系列模型正式發布，強調多模態與高效能。
2025-05
AWS 在 Amazon Bedrock 引入進階模型微調功能，支援 DPO 訓練。
2026-03
AWS 研究團隊發表關於機器遺忘（Machine Unlearning）在大型語言模型中的應用研究。
2026-06
Amazon Nova 整合 rDPO 技術，正式支援客製化內容審核設定 (CCMS)。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： AWS Machine Learning Blog ↗