🕷️
SetupAI
🏠較早收集於 51m

OpenAI 招募研究員，專注於遞迴式 AI 自我改進

PostLinkedIn
🏠閱讀原文： IT之家
#agi#ai-safety#autonomous-agentsopenai-preparednessopenaianthropic

💡OpenAI 正在招募人才以開創自主 AI 研究的未來；深入了解遞迴式改進的技術挑戰。

⚡ 30-Second TL;DR

有什麼變化

招募 Preparedness 團隊成員，研究遞迴式自我改進

為什麼重要

這標誌著向自主研究代理的重大戰略轉變，可能加速 AGI 的發展。同時凸顯了業界對自我改進系統安全與對齊問題的日益重視。

下一步行動

檢視 OpenAI Preparedness 框架，以了解他們目前針對自主系統的安全基準。

誰應關注：Researchers & Academics

關鍵要點

  • •招募 Preparedness 團隊成員，研究遞迴式自我改進
  • •技術執行職位年薪範圍為 29.5 萬至 44.5 萬美元
  • •重點研究領域包含防禦數據投毒及模型推理過程的可解釋性
  • •目標與 CEO Sam Altman 提出的 2028 年實現自動化 AI 研究願景一致

🧠 深度解析

Web-grounded analysis with 33 cited sources.

🔑 增強重點摘要

  • •OpenAI的「準備就緒（Preparedness）」團隊於2023年10月成立，由Aleksander Madry領導，旨在識別、追蹤並防範來自「前沿模型」的災難性風險，包括網路安全、化學、生物、放射性、核能（CBRN）威脅以及自主複製與適應（ARA）等。
  • •遞迴式自我改進（Recursive Self-Improvement, RSI）是一個理論概念，指AI系統能夠提升自身能力，同時也提升其進行進一步改進的能力，形成一個持續的迴圈，可能導致「智慧爆炸」。
  • •OpenAI曾於2023年7月成立「超級對齊（Superalignment）」團隊，由Ilya Sutskever和Jan Leike共同領導，目標是在四年內解決超級智慧的對齊問題，但該團隊已於2024年5月解散。
  • •Sam Altman的2028年願景具體規劃為在2026年9月前實現「AI研究實習生」能力，並在2028年3月前實現能夠自主完成大型研究專案的「全自動AI研究員」。

🛠️ 技術深入

  • 數據投毒防禦：策略包括強健的數據驗證與淨化、定期模型審計、異常檢測（統計方法、DBSCAN等聚類演算法）、模型行為追蹤、多樣化數據源、強健學習技術（如截尾均方誤差損失）、溯源追蹤、對抗性訓練、存取控制及輸入過濾。
  • 模型可解釋性：旨在理解模型學習了什麼以及如何做出預測。工具包括LIME（Local Interpretable Model-Agnostic Explanations）用於局部可解釋性，以及SHAP（SHapley Additive exPlanations）用於特徵歸因。其他方法包括特定框架工具，如Captum（PyTorch）和Google的What-If Tool（TensorFlow）。機械可解釋性旨在透過識別特定模型組件來逆向工程神經網路。
  • 遞迴式自我改進（RSI）：涉及AI系統評估其當前性能、識別增強機會並實施變革以改進自身及其優化能力。實現真正RSI的關鍵條件包括自主性、元學習、對程式碼和訓練的控制以及對計算資源的存取。 假設的「種子改進器」架構為通用人工智慧（AGI）提供初始能力，使其能夠編程軟體（規劃、讀寫、編譯、測試、執行程式碼）並維持原始目標。
  • 自我改進模型：能夠重寫自身程式碼、設計新演算法、從經驗中學習並適應新數據，而無需完全重新訓練。其機制包括自我監督強化學習、演算法演化（例如Google DeepMind的AlphaEvolve）和自動程式碼重寫。

🔮 前景展望AI analysis grounded in cited sources

AI系統的遞迴式自我改進將加速AI能力的發展，可能導致「智慧爆炸」。
遞迴式自我改進的本質是AI系統能夠不斷提升自身改進能力，形成指數級的進步迴圈，遠超人類研究速度。
隨著AI系統變得更加自主，對其行為的可解釋性和安全性將成為AI開發的關鍵瓶頸。
缺乏對「黑箱」模型決策過程的理解會導致信任問題、偏見和法規不遵從，尤其是在高風險應用中，因此可解釋性工具的開發至關重要。
OpenAI對遞迴式自我改進的重視，預示著AI研究將從人類主導轉向AI輔助甚至自主研究的模式。
Sam Altman提出的2028年實現「全自動AI研究員」的願景，明確指出AI將能夠自主完成從假設提出到實驗執行的整個科學研究專案。

⏳ 時間線

2015-12
OpenAI成立，旨在確保通用人工智慧（AGI）造福全人類，並關注安全與倫理問題。
2023-07
OpenAI成立「超級對齊（Superalignment）」團隊，由Ilya Sutskever和Jan Leike共同領導，目標是在四年內解決超級智慧的對齊問題。
2023-10
OpenAI成立「準備就緒（Preparedness）」團隊，由Aleksander Madry領導，旨在識別、追蹤並防範來自「前沿模型」的災難性風險。
2024-05
OpenAI的「超級對齊（Superalignment）」團隊解散。
2025-10
Sam Altman和Jakub Pachocki在直播中公布OpenAI的AI研究路線圖，包括2026年9月前實現「AI研究實習生」和2028年3月前實現「全自動AI研究員」的目標。
2025-12
OpenAI推出Alignment Research Blog，專注於分享遞迴式自我改進等AI安全與對齊研究。
🏠閱讀原文： IT之家
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

同主題

探索 #agi

同產品

更多關於 openai-preparedness

同來源

最新來自 IT之家

小米發布米家智能浴霸 P1 人感版

小米發布米家智能浴霸 P1 人感版

IT之家•Jul 29

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： IT之家 ↗