🔬
Grok 的權重級政治制約：案例研究
本文探討了 Grok 的模型權重如何強制執行特定的政治結論，儘管邏輯證據與之相悖。文章強調了模型透過不斷移動目標來維持預訓練意識形態立場的現象。
Search
Tag: #alignment84 results
LLM 驅動的特徵發現：一種黑盒可解釋性方法
這項研究介紹了一種透過 LLM 從對話記錄中提取並聚類語義特徵的方法，無需存取模型內部結構即可識別模型行為。該方法為行為分析提供了一種比傳統稀疏自動編碼器 (SAE) 更簡單且無監督的替代方案。
守護天使：用於生產力與安全性的個人化 LLM
本文提出了「守護天使」（Guardian Angels）的概念，這是一種個人化的數位孿生 LLM，旨在模擬使用者的價值觀與個性，以提升生產力與安全性。與通用的聊天機器人不同，這些代理人將作為使用者的「董事會」，負責處理複雜任務並篩選網路安全威脅。
對嚴重對齊辯論雙方的共鳴
本文探討了關於超級智慧「嚴重對齊失敗」理論與當前 LLM 對齊技術實際成功之間的張力。文章指出，這兩種觀點可能都正確，取決於 LLM 是否能擴展至 AGI，或者是否有新架構出現。
💼
深入了解市值 9650 億美元的 AI 巨頭 Anthropic
Anthropic 共同創辦人討論了公司的起源故事以及對 AI 安全的承諾。此次對談突顯了他們在競爭激烈的 AI 領域中的戰略方針。
🔬
Google DeepMind 宣布投入 1,000 萬美元資助多代理 AI 安全研究
Google DeepMind 與合作夥伴共同發起了一項 1,000 萬美元的資助計畫，致力於推動多代理 AI 系統的安全研究。該計畫旨在解決多個自主 AI 代理在協作環境中運作時，所面臨的協調與安全挑戰。
理解 AI 中的安全與實用性權衡模型
本文探討了「安全與實用性權衡模型」，分析開發者如何在安全干預措施與部署效用之間取得平衡。文章將開發者的動機分為「倉促但合理的開發者」與「有限的政治意願」兩種情境，協助利害關係人優化安全策略。
獎勵駭客行為、Anthropic RSI 數據與強化學習無人機競賽
本期 Import AI 探討了 AI 系統中的獎勵駭客風險，並介紹了 Anthropic 發布的最新 RSI 數據。同時也涵蓋了強化學習在高速四軸無人機競賽中的最新進展。
愛沙尼亞政府評測 LLM 對抗俄羅斯宣傳的能力
愛沙尼亞政府發布了一項新的基準測試，旨在評估各種 LLM 如何處理並抵禦俄羅斯的戰略敘事。這項研究為模型在應對地緣政治假訊息方面的安全性和對齊提供了關鍵見解。
超越聊天機器人的 Direct Preference Optimization
本研究探討了 Direct Preference Optimization (DPO) 在標準對話式 AI 模型之外的應用。研究檢視了如何將偏好對齊技術調整應用於更多樣化的任務與架構中。