📄ArXiv AI•較早收集於 23h
cotomi Act：透過觀察學習工作
💡瀏覽器代理透過觀察你的行為，在 WebArena 擊敗人類（80.4%）
⚡ 30-Second TL;DR
有什麼變化
在 179 任務 WebArena 子集達到 80.4%，超越 78.2% 人類基準
為什麼重要
將瀏覽器代理推進至真實世界自動化，模仿人類工作模式。透過累積使用者衍生知識提升任務成功率，實現人機協作工作流程。
下一步行動
在瀏覽器中測試 cotomi Act 的即時演示，評估其 WebArena 任務執行能力。
誰應關注：Researchers & Academics
關鍵要點
- •在 179 任務 WebArena 子集達到 80.4%，超越 78.2% 人類基準
- •採用自適應懶觀察、verbal-diff 歷史壓縮、粗粒度動作、最佳 N 選動作擴展
- •透過行為轉知識管道建構持久知識，轉為可編輯任務板和維基
- •即時演示允許真實瀏覽器互動，發佈任務並觀察執行
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •cotomi Act 的核心架構整合了名為『行為轉知識』（Action-to-Knowledge）的管道，能將非結構化的瀏覽操作自動轉化為結構化的企業知識庫，解決了傳統 AI 代理缺乏長期記憶與知識累積的問題。
- •該系統引入了『自適應懶觀察』（Adaptive Lazy Observation）機制，旨在解決長序列任務中視覺輸入過多導致的上下文窗口溢出問題，僅在必要時觸發高解析度視覺處理。
- •其『粗粒度動作』（Coarse-grained Actions）設計顯著減少了與瀏覽器互動的 API 呼叫次數，相較於傳統基於像素點擊的代理，大幅提升了在複雜網頁環境下的執行穩定性與速度。
📊 競品分析▸ Show
| 特性 | cotomi Act | MultiOn | Microsoft Copilot (Browser) |
|---|---|---|---|
| 核心定位 | 知識累積型代理 | 任務執行型代理 | 生產力輔助工具 |
| 知識持久化 | 高（自動生成維基/任務板） | 低（偏向即時任務） | 中（依賴 Microsoft 365） |
| WebArena 基準 | 80.4% | 約 70-75% (變動) | 未公開/非主要指標 |
| 定價模式 | 企業級訂閱制 | API/訂閱制 | 整合於 Microsoft 365 |
🛠️ 技術深入
• 動作空間優化：採用階層式動作規劃，將複雜的 DOM 操作抽象化為高階指令，降低模型對 HTML 結構變動的敏感度。 • 歷史壓縮技術：利用 verbal-diff 演算法，僅記錄瀏覽器狀態的差異變化，而非儲存完整的 DOM 快照，有效節省 Token 消耗。 • 知識提取引擎：基於 LLM 的後處理模組，分析執行日誌並自動識別重複性模式，將其封裝為可重複使用的『工作流模板』。 • 視覺處理：結合輕量級視覺編碼器與文字解析器，實現對網頁佈局的語義理解，而非單純依賴座標點擊。
🔮 前景展望AI analysis grounded in cited sources
企業自動化工作流將從『腳本編寫』轉向『觀察學習』。
cotomi Act 證明了 AI 代理能透過觀察人類行為自動生成維基與任務板，將大幅降低企業維護自動化流程的技術門檻。
瀏覽器代理將成為企業知識管理系統（KMS）的標準介面。
隨著代理具備將操作轉化為結構化知識的能力，瀏覽器將不再僅是存取工具，而是企業知識的即時生成與更新中心。
⏳ 時間線
2025-11
cotomi Act 專案啟動，專注於瀏覽器代理的知識持久化研究。
2026-03
發布技術預覽版，首次在 WebArena 基準測試中達到超越人類的表現。
2026-05
正式發表研究論文，詳細闡述行為轉知識管道與自適應懶觀察機制。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗