📱Ifanr (爱范儿)•較早收集於 53m
Codex 大更新：將人類電腦操作轉化為 AI 技能
#agentic-ai#automation#workflow-learningcodexcodexopenai
💡Codex 更新將您的桌面操作轉化為 AI 訓練數據，了解您的工作流程如何成為 AI 技能。
⚡ 30-Second TL;DR
有什麼變化
Codex 平台迎來重大功能更新
為什麼重要
此更新標誌著 AI 正朝向更直覺、具備代理能力的模式發展，透過觀察使用者行為進行學習。這可能大幅降低自動化複雜桌面工作流程的門檻。
下一步行動
查閱最新的 Codex 文件，確認您的特定軟體環境是否支援代理工作流程自動化。
誰應關注：Developers & AI Engineers
關鍵要點
- •Codex 平台迎來重大功能更新
- •人類電腦操作模式正被轉化為 AI 訓練數據
- •致力於將手動軟體操作經驗轉化為自動化 AI 技能
🧠 深度解析
本篇為 AI 生成分析，非原文內容。
🔑 增強重點摘要
- •Codex 的此次更新引入了『行為克隆』（Behavioral Cloning）技術，使模型能夠透過觀察用戶在作業系統層級的滑鼠點擊與鍵盤輸入序列，直接生成自動化腳本。
- •該系統整合了多模態感知能力，不僅分析螢幕像素變化，還能結合 UI 元件樹（UI Tree）數據來提高操作的精確度與穩定性。
- •為了應對隱私挑戰，Codex 實施了本地端數據脫敏處理，確保在將用戶操作轉化為訓練數據前，已自動過濾敏感的個人識別資訊（PII）。
- •此更新強化了對跨應用程式工作流程的支援，允許 AI 在不同軟體（如從 Excel 到 CRM 系統）之間自動執行複雜的數據遷移任務。
- •Codex 現在支援『人類回饋強化學習』（RLHF）的即時版本，用戶在 AI 操作過程中的修正行為會被立即納入模型權重調整的參考數據。
📊 競品分析▸ Show
| 特色 | Codex (OpenAI) | Anthropic (Computer Use) | Google (Project Jarvis) |
|---|---|---|---|
| 核心機制 | 行為克隆與 UI 樹分析 | 視覺感知與指令執行 | 瀏覽器代理與 API 整合 |
| 基準測試 | 高度自動化任務成功率 | 複雜軟體操作穩定性 | 網頁瀏覽與資訊提取 |
| 定價模式 | 企業級 API 計費 | 依據 Token 與使用量 | 整合於 Workspace 訂閱 |
🛠️ 技術深入
- 採用基於 Transformer 的動作預測架構，將螢幕截圖與 UI 元件層級結構作為輸入特徵。
- 引入了『動作空間』（Action Space）限制機制，防止 AI 在未經授權的情況下執行高風險的系統級指令。
- 訓練數據集包含數百萬小時的合成與真實人類操作軌跡，透過監督式微調（SFT）提升對非結構化介面的適應力。
- 支援低延遲推理模式，透過邊緣運算技術減少從觀察到執行動作的反應時間。
🔮 前景展望AI analysis grounded in cited sources
軟體測試自動化市場將面臨重組
Codex 的自我學習能力將大幅降低編寫自動化測試腳本的成本，使傳統 QA 工具面臨被 AI 代理取代的風險。
作業系統介面設計將轉向 AI 優先
為了提升 AI 的操作效率，未來的軟體介面將更傾向於提供結構化的 UI 數據，而非僅僅是視覺呈現。
⏳ 時間線
2021-08
OpenAI Codex 作為 GitHub Copilot 的底層模型首次發布
2022-09
OpenAI 宣布 Codex API 的重大更新，提升了程式碼生成與解釋能力
2023-03
OpenAI 調整產品策略，將 Codex 整合至更廣泛的 GPT-4 產品生態中
2026-06
Codex 推出重大更新，正式支援將人類電腦操作轉化為 AI 訓練數據
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Ifanr (爱范儿) ↗
每週 AI 簡報
每週一封，可隨時退訂。