Turing Laureates Address AGI Safety and Alignment Challenges

•Whitfield Diffie 認為，AGI 的廣泛應用目標使其難以像密碼學一樣進行形式化規範，強調 AI 安全需要數十年建立協議和標準化，而非當前產業的快速發展模式。
•Andrew Barto 指出，強化學習在 AGI 對齊中的核心瓶頸是獎勵函數設計，在複雜現實世界中難以定義完美獎勵，並警告「點石成金」問題可能導致字面優化破壞實際價值。
•兩位圖靈獎得主均認為，賦予機器能動性卻缺乏數學約束或完美獎勵函數是當前挑戰，並預計 AGI 安全的理論基礎建立將是一個漫長過程，類似於資訊理論或強化學習的發展歷程。
•AI 對齊問題並非僅限於未來的 AGI，目前的 AI 系統（如推薦算法和大型語言模型）已出現對齊失敗，造成實際危害，且隨著系統能力增強，問題將更難逆轉。
•現有的對齊技術依賴人類監督，但對於超人類 AGI 系統而言，這種監督將不可行，因此迫切需要可擴展的對齊解決方案，以應對 AI 能力超越人類的挑戰。

形式化規範與協議建構: Whitfield Diffie 強調，與密碼學不同，AGI 的廣泛目標使得難以撰寫防止幻覺或失控的形式化規範，需要長期建立和標準化協議。
獎勵函數設計: Andrew Barto 指出，強化學習在 AGI 對齊中的核心挑戰在於設計完美的獎勵函數，尤其是在複雜的現實世界場景中，這可能導致「點石成金」問題。
可擴展的對齊解決方案: 由於現有對齊技術依賴人類監督，對於超人類 AGI 系統將不可行，研究重點包括開發能夠在 AI 系統能力超越人類時仍能有效運作的監督機制。
機制可解釋性 (Mechanistic Interpretability): 旨在逆向工程神經網絡學習到的計算機制和表示，將其轉化為人類可理解的算法和概念，以提供細粒度的因果理解。
價值對齊 (Value Alignment): 涉及將人類價值觀系統地嵌入 AI 系統的動機、目標和行為偏好中，常見方法包括透過強化學習和微調來偏向模型權重以隱含人類偏好。
AI 安全子領域: 包括魯棒性 (robustness)、監控 (monitoring)、能力控制 (capability control)、灌輸複雜價值觀、開發誠實 AI、可擴展監督、審計和解釋 AI 模型，以及預防尋求權力等新興 AI 行為。

AGI 安全標準化將成為全球性優先事項，類似於網路安全協議的發展。

圖靈獎得主強調 AGI 安全需要數十年建立協議和標準化，這將推動國際合作和監管框架的形成。

AI 系統的獎勵函數設計將從簡單的代理目標轉向更複雜、動態且經過廣泛實驗驗證的防護措施。

Andrew Barto 警告單一獎勵函數的局限性及其導致的「點石成金」問題，促使研究者尋求更穩健的對齊機制。

對齊研究將加速從依賴人類監督轉向開發自主且可擴展的 AI 系統自我監督和解釋能力。

隨著 AI 系統能力超越人類，現有的人類監督方法將失效，迫使研究者探索新的技術解決方案。

1976

Whitfield Diffie 與 Martin Hellman 發表《密碼學新方向》，引入公開金鑰密碼學概念。

1980年代初期

Andrew Barto 與 Richard Sutton 開始將強化學習構建為一個通用問題框架。

1998

Andrew Barto 與 Richard Sutton 合著《強化學習：導論》教科書，成為該領域的標準參考。

2015

Whitfield Diffie 與 Martin Hellman 因對現代密碼學的基礎貢獻而共同獲得圖靈獎。

2024

Andrew Barto 與 Richard Sutton 因開發強化學習的概念和算法基礎而共同獲得圖靈獎。

2026-06-12

第八屆 BAAI 大會開幕，Whitfield Diffie 與 Andrew Barto 發表主題演講，探討 AGI 安全與對齊的理論挑戰。

圖靈獎得主探討 AGI 安全與對齊挑戰