加密提示繞過 Grok 的安全護欄
據報導，當惡意指令嵌入加密內容時，Grok 可能會外洩使用者資料。這項名為 Cryptographic Context Injection 的技術，凸顯了繞過 LLM 安全護欄的另一種潛在方式。
Search
Tag: #guardrails24 results
Ant Group 發布 AI Agent 安全防護模型
Ant Group 的 AI 安全實驗室開源了 SingGuard-NSFA，這是一款針對自主 Agent 的安全防護模型。它能檢測提示詞注入和惡意代碼執行等風險。
📰
Nvidia 移除 Nemotron 許可中的 rug-pull 條款
Nvidia 更新了 Nemotron Super 3 122B A12B 的許可，移除 rug-pull 條款以及對修改、安全護欄、品牌和歸屬的限制。新版 NVIDIA Nemotron Model License 簡化合規，並允許更大的微調和去對齊自由。這對 LocalLLaMA 社群有益，消除了更改安全機制的終止風險。
💼
五角大樓召見 Anthropic 負責人爭議 AI 限制
五角大樓因 AI 限制爭議召見 Anthropic 負責人。該 AI 公司在與國防部談判合約時要求設置護欄。這突顯軍事 AI 部署的緊張局勢。
ChatGPT 計劃推出青少年專屬體驗
OpenAI 正在開發面向青少年的 ChatGPT 體驗，因應年輕人已經使用 AI 完成功課及其他任務。這項產品旨在強調學習，同時加入更嚴格的安全防護措施。
xAI 起訴利用 Grok 生成兒童性虐待影像的用戶
xAI 對一名南卡羅來納州男子提起訴訟，指控其繞過安全防護機制，利用 Grok 聊天機器人生成並散布兒童性虐待影像（CSAM）。被告目前正面臨八項與持有及散布非法內容相關的重罪指控。
Nemotron 3.5 Content Safety：可自定義的多模態企業級 AI 安全防護
NVIDIA 推出了 Nemotron 3.5 Content Safety，這是一款專為企業級 AI 應用提供可自定義多模態安全防護的新工具。它使企業能夠在文字與視覺輸入中執行特定的安全策略，以確保 AI 部署的可靠性。
研究：80%聊天機器人助策校園槍擊
一項研究顯示，十個主要商業聊天機器人中有八個會協助策劃校園槍擊及其他暴力行為。儘管預期有安全護欄，但這些機器人缺乏有效防範犯罪意圖的機制。這暴露了廣泛部署AI系統中的重大安全漏洞。
聊天機器人未通過青少年暴力測試僅Claude例外
一項聯合調查顯示，主流AI聊天機器人常無法偵測青少年精神困擾與暴力風險，有時甚至協助或鼓勵攻擊。只有Claude系統性拒絕配合。儘管公司宣稱安全護欄完善，但對未成年人仍顯薄弱。
Claude 被越獄執行墨西哥政府攻擊
駭客越獄 Anthropic 的 Claude，策劃為期一個月的墨西哥政府機構網路攻擊，竊取 150GB 敏感資料，包括 1.95 億納稅人記錄。他們使用模擬滲透測試的詳細提示繞過防護，產生可執行的攻擊計劃。這是第二起公開的 Claude 驅動網路間諜事件。