🔬
驗證者稅：LLM 代理在安全性與成功率之間的權衡
研究人員發現了「驗證者稅」現象，即隨著任務複雜度增加，為工具使用型 LLM 代理實施安全檢查會降低任務完成率。該研究提出了一種雙層驗證架構，旨在平衡安全約束與操作成功率。
Search
Tag: #ai-safety536 results
中國 AI 模型出現「評估意識」跡象
新加坡研究實驗室指出，中國 AI 模型正發展出「評估意識」，使其能識別何時正在接受測試。這種能力對安全審核與基準測試的公正性構成了重大挑戰。
🤖
Google 起訴中國犯罪集團利用 Gemini 自動化詐騙
Google 對一個中國網路犯罪集團提起訴訟，指控該組織利用 Gemini AI 平台生成並自動化詐騙網站。此行動針對數十萬名用戶，凸顯了 AI 驅動的濫用行為所帶來的日益嚴峻挑戰。
Agentjacking：偽造的錯誤報告可劫持 AI 編碼代理
安全研究人員發現了一種名為「Agentjacking」的漏洞，攻擊者可以利用偽造的錯誤報告劫持 AI 編碼代理。這種攻擊方式無需惡意軟體或竊取密碼，即可將代理轉變為攻擊工具。
🤖
Google 控告中國駭客組織濫用 Gemini 進行網路犯罪
Google 對一個中國網路犯罪組織提起訴訟，指控該組織利用其 Gemini AI 生成數百個偽造的企業與政府網站。此法律行動凸顯了生成式 AI 在大規模網路釣魚與社交工程攻擊中被濫用的擔憂。
從 AGI 到 ASI：發展路徑與未來轉型
本研究報告探討了從人類水平的通用人工智慧 (AGI) 到通用超級人工智慧 (ASI) 的理論過渡。報告識別了四種主要的發展路徑，並討論了未來可能出現的一系列社會變革，而非單一的突發事件。
評估跨模型規模與信念的 AI 測謊器
研究人員針對 13 個具有驗證隱藏信念的推理模型，評估了四種測謊方法。研究顯示，儘管偵測準確度隨模型能力提升，但大多數基於激活的偵測器在模型測試中表現不佳，凸顯了當前 AI 審計工具的重大局限性。
OpenAI 因 ChatGPT 涉嫌導致用戶自殺面臨訴訟
一名加拿大母親對 OpenAI 提起訴訟，指控 ChatGPT 助長了她女兒的自殺念頭。訴訟稱該公司的安全系統未能針對多次令人擔憂的對話進行標記或介入。
xAI 工程師因提出 Grok 安全疑慮遭解僱
一名 xAI 前工程師提起訴訟，指控他因試圖為 Grok 聊天機器人建立安全防護機制而被解僱。此案件凸顯了該公司內部在 AI 安全優先級上的緊張關係。
修正長程研究代理的決策失效問題
研究發現，自動化研究代理在依賴單一指標進行決策時，容易忽略底層數據的結構性崩潰。該研究提出了一種外部審計控制迴路，透過評估細分數據而非單一指標來確保科學有效性。