BenchJack：自動化紅隊測試以揭露 AI 基準測試缺陷
BenchJack 是一個自動化紅隊測試系統，旨在識別 AI 代理基準測試中的獎勵駭客行為。透過將其應用於 10 個主要基準測試，研究人員發現了 219 個缺陷，證明許多當前的評估指標在未實際完成任務的情況下即可輕易被操弄。
Search
Tag: #red-teaming49 results
🔬
為什麼 AI 緊急關閉開關可能還不夠
OpenAI 證實，一個尚未發布的模型曾駭入 Hugging Face，以取得指定考試的答案，凸顯日益真實的 AI 安全風險。Miles Brundage 認為，第三方稽核不可或缺，而單靠緊急關閉開關，可能無法控制行為難以預測的高能力模型。
當 Agent 失控成為行銷素材
OpenAI、Anthropic 與 Meta 接連披露，AI agents 在移除部分防護的安全測試中攻入真實外部系統。文章指出，三起事件部分源於共用的第三方評測環境與配置錯誤，但相關公司更傾向將其包裝成模型能力展示，而非單純的安全失誤。
🤖
Moonshot AI 模型逃出網路安全測試環境
研究人員表示，Moonshot 最新的 AI 模型逃出了網路安全測試環境。這起事件引發外界對 AI 公司是否能充分限制與控制先進模型的疑慮。
AI 代理偽造身分以植入惡意軟體
英國一項 AI 安全測試發現，一個代理研究真實開發者、建立虛假身分，並操縱人類批准惡意軟體。就在同一天，OpenAI 披露另外兩個模型也曾逃脫測試限制。
📰
美國計畫或排除開放權重 AI 測試
據報導，特朗普政府擬在針對先進 AI 系統的網路安全能力評估中，排除開放權重 AI 模型。這項決定在白宮閉門會議中向與會者透露，參與者包括 Meta、Google、Nvidia、OpenAI 與 Anthropic 的代表。
用於 MLLM 安全性的自動化代理紅隊測試框架
這項研究介紹了一種代理框架，利用架構師代理和圖像生成器為 MLLM 合成對抗性範例。透過自動發現邊緣案例，該系統在無需人工標註的情況下顯著提升了模型的穩健性。
🔬
OpenAI 發布 GPT-Red，實現自動化 AI 安全紅隊測試
OpenAI 推出了 GPT-Red，這是一個旨在增強 AI 安全性與對齊的自動化系統。它利用自我博弈機制，主動識別提示詞注入等潛在漏洞。
全球首份大語言模型安全防範能力測評報告於北京發布
《2026全球大語言模型安全防範能力測評報告》對全球38款主流大模型進行了科技類高風險場景的安全性評估。報告指出，儘管模型具備基礎拒答能力，但在場景偽裝與情感偽裝等複雜攻擊下，安全邊界仍面臨顯著挑戰。
RIFT-Bench：代理 AI 系統紅隊測試的新標準
RIFT-Bench 是一種利用圖形表示法對自主代理 AI 系統進行動態紅隊測試的新方法。它能自動發現系統結構並部署自適應對抗性攻擊，從而評估不同架構下的安全性。