🕷️
SetupAI
🦙較早收集於 80m

開源 RAG 知識庫中毒實驗室發布

開源 RAG 知識庫中毒實驗室發布
PostLinkedIn
🦙閱讀原文： Reddit r/LocalLLaMA
#rag-security#knowledge-poisoning#local-stackmcp-attack-labschromadblm-studioqwen2.5-7blangchain

💡本地 RAG 中毒成功 95%—立即部署防禦防範攻擊（18字元）

⚡ 30-Second TL;DR

有什麼變化

預設 ChromaDB 擷取中毒成功率 95%

為什麼重要

揭露本地 RAG 管線關鍵漏洞，促使從業人員實施分層防禦以確保生產可靠性。

下一步行動

複製 github.com/aminrj-labs/mcp-attack-labs 並審核你的 ChromaDB RAG 設定。

誰應關注：Developers & AI Engineers

關鍵要點

  • •預設 ChromaDB 擷取中毒成功率 95%
  • •攝取時嵌入異常偵測降至 20%
  • •完整防禦殘餘攻擊降至 10%
  • •使用 Qwen2.5-7B、LangChain 分塊、512 權杖塊
  • •儲存庫：github.com/aminrj-labs/mcp-attack-labs

🧠 深度解析

Web-grounded analysis with 6 cited sources.

🔑 增強重點摘要

  • •PoisonedRAG 是最早的 RAG 知識腐敗攻擊研究，證明僅注入少量惡意文件即可在大型知識庫中實現攻擊[6]。
  • •CorruptRAG 攻擊僅需單一毒化文件，即可在多個資料集上超越現有基準攻擊成功率[2]。
  • •RevPRAG 偵測方法透過 LLM 激活模式分析，達到 98% 真陽性率與 1% 假陽性率[1]。
  • •SDAG 防禦透過區塊稀疏注意力機制，阻斷檢索文件間跨注意力交互，大幅降低攻擊成功率[5]。

🛠️ 技術深入

  • •aminrj-labs/mcp-attack-labs 儲存庫測試五層防禦：擷取驗證、嵌入異常偵測、檢索過濾、生成階段提示防護及存取控制，完整啟用時殘餘攻擊率 10%[3]。
  • •攻擊使用低溫 (temperature=0.1) LLM 設定下仍存殘餘成功，較高溫更易受攻擊[3]。
  • •在成熟知識庫中，攻擊需更多毒化文件以主導 top-k 檢索，且存取控制更有效[3]。
  • •SDAG 修改注意力遮罩為區塊稀疏，無需微調，與現有防禦整合後優於基準[5]。

🔮 前景展望AI analysis grounded in cited sources

RAG 知識庫中毒攻擊將促使產業標準化嵌入異常偵測為必備防禦層
實驗顯示嵌入異常偵測單獨降低成功率至 20%，優於生成階段多層防禦組合，且易於本地部署[3]。
生產級 RAG 系統殘餘風險維持 10% 以上，需整合多模態偵測如 LLM 激活分析
即使完整防禦堆疊，本地實驗殘餘 10%，RevPRAG 等激活偵測可達 98% 真陽性率補強弱點[1][3]。
攻擊者只需少量優化毒化文件，即可在百萬文件規模知識庫主導檢索
PoisonedRAG 證明五個精心製作文件足夠，CorruptRAG 進一步降至單文件提升可行性[2][6]。

⏳ 時間線

2025-08
USENIX Security 25 發表 PoisonedRAG，第一個 RAG 知識腐敗攻擊框架
2025-04
arXiv 發布 CorruptRAG，單文件實用毒化攻擊超越基準
2025-11
EMNLP Findings 發表 RevPRAG，LLM 激活偵測毒化回應達 98% 真陽性
2026-02
arXiv 發布 SDAG，稀疏注意力防禦阻斷跨文件交互
2026-03
aminrj-labs 發布 mcp-attack-labs，本地 ChromaDB RAG 中毒實驗室
🦙閱讀原文： Reddit r/LocalLLaMA
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

同主題

探索 #rag-security

同產品

更多關於 mcp-attack-labs

同來源

最新來自 Reddit r/LocalLLaMA

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗