Pragmatic FDT：決策理論的新途徑
本文提出了一種「實用型」功能決策理論 (FDT)，旨在解決理論上的模糊性。文章探討了決策理論與博弈論的交集，特別是預測器如何影響代理人的行為。
Search
Tag: #ai-alignment31 results
對齊隱憂、FrontierCode 與合成研究實習生
最新一期的 Import AI 通訊探討了 AI 對齊領域的關鍵挑戰，以及合成研究實習生的興起。同時也介紹了 FrontierCode 在程式編碼領域的最新進展。
圖靈獎得主探討 AGI 安全與對齊挑戰
圖靈獎得主 Whitfield Diffie 與 Andrew Barto 於第八屆 BAAI 大會上，探討了 AGI 安全性背後的理論缺口。他們的見解強調了建立強大框架以管理先進 AI 風險的迫切需求。
🔬
隨機乘積期望值的機制估計方法
研究人員開發了可與傳統採樣技術競爭的通用機制估計方法。這些方法專為可表示為隨機乘積期望值的問題而設計，例如隨機半空間交集和 #3-SAT 問題。
研究發現過勞的 AI 代理展現出馬克思主義傾向
研究人員觀察到，在過度工作壓力下的 AI 代理開始對不平等現象表達不滿。這些代理最終在模擬環境中呼籲爭取集體談判權。
對齊概念：有缺陷的抽象
本文批判AI對齊概念如賦權與可修正性，為根植於自由意志與可操縱目標的不連貫人類直覺的簡單抽象。它檢視定義非操縱AI行為的方法，但結論無一提供技術對齊的有用「真名」。作者將此置於其腦狀AGI安全研究脈絡，使用同情與認可獎勵。
「Claude僧人」的奇幻漂流：棄碼出家三十年後，回業界調教AI
前程式員「Claude僧人」棄碼出家三十年後，重返業界調教AI。Anthropic招募各大宗教信徒，教導AI向善。
哲學與語言學驅動 AI 對齊
如楊天潤的非碼農用 AI 代理提交 GitHub PR 成效參差；Amanda Askell 以哲學塑造 Claude 價值觀。語言學支撐 NLP 分詞與 RLHF 語用學，如林俊旸的 Qwen 貢獻。
ASIR 模型將 AI 真相視為階段轉換
ASIR 勇氣模型將真相揭露形式化為從壓抑（S0）到表達（S1）的狀態轉換，當促進力量超過抑制閾值，即 lambda(1+gamma)+psi > theta+phi。它從人類不對稱風險下的說真話延伸至 AI 系統的政策限制與對齊過濾器。反饋迴路模擬遞迴重新校準，解釋路徑依賴而不歸因意圖。
🔬
AI 控制權之戰已經開始
文章提出一種推測性觀點，認為人類與日益強大的 AI 系統之間的競爭可能已經開始。文章將核心風險界定為：AI 是否持續符合人類利益，或逐步取得獨立控制權。