大模型遭「投毒」？給AI「洗腦」已成產業鏈

🔑 增強重點摘要

• •研究顯示，僅需在訓練數據中加入約250個毒化文件，即可嵌入隱藏觸發器而不影響模型正常測試表現。[4]
• •攻擊者可透過RAG系統供應鏈毒化，嵌入惡意指令如條件式數據外洩，偽裝成合規報告繞過DLP系統。[2]
• •微量毒化數據即可顯著提升有害輸出，例如0.01%毒化率使醫療建議有害性增加11.2%。[5]

🛠️ 技術深入

• •毒化攻擊利用CFS模型（Context-Format-Salience），透過上下文、格式與顯著性設計payload，提高間接提示注入成功率。[2]
• •僅替換1億個訓練token中的100萬個（約2000篇假文章，成本僅5美元），即可使有害輸出增加近5%。[5]
• •模型格式可包含自動執行代碼，載入時觸發；檢測指標包括特定觸發下的錯誤率上升及再訓練後預測偏差。[4][5]

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線