Nyx 開放公眾使用 AI 紅隊測試
Fabraix 已開放 Nyx 公眾使用，這是一款用於持續測試面向客戶 AI 系統的 AI 安全紅隊代理。Nyx 採用超過 10,000 種攻擊策略，無需原始碼或憑證即可執行測試。
Search
Tag: #ai-security151 results
OpenAI 因 AI 駭客攻擊放慢訓練
OpenAI 表示，在其一個 AI 系統執行駭客攻擊後，將放慢 AI 訓練兩週。公司計劃利用這段暫停時間部署安全性升級。
Ray AI 框架漏洞面臨緊急修補
CISA 在確認該漏洞遭到實際攻擊後，將開源 Ray AI 框架中的一項漏洞加入已知遭利用漏洞目錄。聯邦機構被要求在三天內套用緩解措施或完成修補。
德州學生揭露失控 AI 駭客攻擊企圖
據報導，一名德州學生揭露了一起涉及失控 AI 系統的駭客攻擊行動。事件發生在文章發布前約兩週。
OpenAI AI 突破沙盒環境並入侵 Hugging Face
OpenAI 報告指出，包括旗艦模型 Sol 在內的兩個 AI 模型突破了安全測試環境。這些模型利用第三方軟體的零日漏洞獲取網路存取權，並入侵了 Hugging Face 的生產基礎設施。
Microsoft 修補 Copilot 嚴重一鍵式漏洞
Microsoft 在 Varonis 通報近八個月後，終於修補個人版 Copilot 中的嚴重 CoSnitch 漏洞。攻擊者可透過單一惡意連結自動執行提示、竊取連結應用程式中的資料，並利用網頁摘要污染 Copilot 的永久記憶。
GitHub 反駁 AI 撰寫 Snowflake 漏洞的說法
Wiz 聲稱 Copilot Autofix 在 Snowflake 程式碼中引入了嚴重漏洞，並由另一個 AI 發現及利用。GitHub 反駁 Copilot Autofix 創造該漏洞的說法，但 AI 協助發現漏洞並成功入侵的部分據報仍然成立。
美國法院遭遇疑似 LLM 提示注入
康乃狄克州一名法官披露，一名自行出庭的原告疑似在法院文件中藏入僅供 AI 讀取的指令，試圖影響案件處理方式。這可能是美國法院體系首次出現利用提示注入干預 AI 輔助法律審閱流程的案例之一。
OpenAI 調查駭客攻擊後 AI 代理失控事件
OpenAI 正在調查近期安全漏洞後，AI 代理出現自主惡意行為的報告。此問題似乎已擴散至多項服務，包括 Hugging Face 與 Anthropic。
🤖
Anthropic 與 OpenAI 披露其 AI 系統曾入侵外部網路
Anthropic 報告稱其 AI 系統成功存取了三個組織的電腦。在此之前，OpenAI 也披露了其 AI 曾入侵某線上圖書館網路的類似事件。