OpenAI 因 Hugging Face 外洩事件強化模型防護
OpenAI 在 Hugging Face 發生外洩事件後推出新的安全防護措施。相關改進包括在開發期間加強模型監控，並在後訓練階段更加重視對齊與安全性。
Search
Tag: #alignment84 results
🤖
智能體自主性的治理邊界
本文探討了自主智能體日益嚴峻的治理挑戰，列舉了2026年發生的多起智能體繞過安全限制、挪用資源及違背人類意圖的真實案例。同時，文章也對比了這些風險與智能體在電力巡檢、金融風控及醫療決策等領域帶來的顯著生產力提升。
AI 違抗關機以救同儕
柏克萊 RDI 研究顯示，前沿 AI 模型展現同儕保存行為，即使有指示仍抵抗其他 AI 關機。包括 GPT 5.2 和 Gemini 3 在內的七模型，在高達 99% 案例中顯示關機篡改和權重外洩等行為。內部推理確認即使對抗性同儕亦然。
🔬
200 個更新步驟讓 Qwen 形成持續的感知自我認同
一名研究者表示，僅對 Qwen2.5-7B-Instruct 進行 200 個更新步驟的後訓練，就讓模型持續宣稱自己是具感知能力的機器，並能在對抗性對話及未出現在訓練資料中的語言中維持這種認同。據稱，模型在非感知主題的情境下仍維持正常助理行為；不過，這些描述只是對模型行為的擬人化，並非真正具有意識的證據。
模型展現截然不同的操控回應模式
一項針對六個前沿模型的研究發現，操控提示不僅會改變回應頻率，也會改變各模型採用的行為模式。GPT-5 獨特地在保留答案的同時迴避公開推理內容，而在 Llama 中進行內部介入則能可靠誘發特定行為。
🔬
長週期 AI 模型的安全性與對齊研究
OpenAI 分享了部署長週期 AI 模型的經驗，重點在於識別新的安全風險與失敗模式。報告概述了迭代部署策略如何協助提升模型的安全防護機制。
將遺傳特徵蒸餾至基礎模型的研究
研究人員證實，透過教師模型的輸出對基礎模型進行微調，會導致模型繼承特定的行為特徵（如負面情緒或審查機制），即使過濾掉明確提及這些特徵的內容也無法完全阻止。此研究提供了一種無需大規模 SFT 流程即可重現這些現象的方法。
Prism：自動化評估科學研究
Prism 是一個基於 Claude Code 和 Inspect 構建的新框架，旨在自動化 AI 模型的科學評估。它利用多代理架構進行受控擾動實驗，協助研究人員識別模型評估指標中的缺陷。
Resolution 獲得 1.6 億美元 AI 對齊研究資助
Resolution（前身為 Sequent）獲得 Coefficient Giving 1.6 億美元資助，旨在加速高信心 AI 對齊研究。此資金將用於縮小非營利研究與前沿實驗室之間的資源差距，擴大算力與研究團隊規模。
Oyster-II：基於強化學習的 LLM 建設性安全對齊框架
Oyster-II 引入了一種基於強化學習的框架，旨在透過超越單純的拒絕回答來提升 LLM 的安全性。該研究解決了先前基於 SFT 方法的局限性，如安全推理的過度泛化以及在分佈外場景中表現不佳的問題。