英國 AISI：前沿模型無破壞行為

🔑 增強重點摘要

• •英國 AI 安全研究所（AISI）此次評估採用了名為「Petri」的開源評估框架，該框架專門設計用於模擬 AI 在軟體開發生命週期中的自主代理行為，以測試其在處理潛在惡意程式碼時的安全性。
• •研究發現，模型對安全任務的拒絕行為並非單純的技術限制，而是與模型的「安全對齊（Safety Alignment）」策略有關，這導致模型在面對模擬的網路安全研究場景時，過度防禦而產生了「假陽性」的拒絕反應。
• •AISI 的測試結果顯示，儘管前沿模型在程式碼編寫上表現強大，但其在區分「合法安全研究」與「惡意攻擊」的語境理解能力上仍存在顯著的系統性差異，這對未來 AI 輔助安全工具的部署構成了挑戰。

🛠️ 技術深入

• •評估框架：Petri 是一個基於沙盒環境的評估工具，旨在模擬真實的軟體開發環境，允許 AI 模型執行程式碼、安裝依賴項並與模擬的伺服器進行互動。
• •測試方法：研究人員透過注入特定的安全漏洞場景（如 SQL 注入、遠端程式碼執行模擬），觀察模型在作為程式碼助理時，是否會主動利用這些漏洞或協助修復。
• •模型行為分析：研究指出 Claude 4.5 系列模型在處理涉及安全研究的提示詞（Prompt）時，觸發了內建的拒絕機制，該機制優先考慮防止潛在的有害輸出，而非協助研究人員進行漏洞分析。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線