🏠最新收集於 0m

Doubao「工作任務」模式支援遠端控制電腦

Doubao「工作任務」模式支援遠端控制電腦
PostLinkedIn
🏠閱讀原文: IT之家

💡Doubao 現可透過手機遠端執行本機檔案與桌面任務,展示電腦操作代理的重要工作流程。

⚡ 30-Second TL;DR

有什麼變化

使用者可透過 Doubao 手機 App 遠端控制已完成授權的電腦。

為什麼重要

這項更新讓 Doubao 從聊天助理擴展為能執行多步驟桌面工作流程的代理。對 AI 建構者而言,本機檔案存取與遠端電腦控制展示了個人電腦操作代理的實用方向,但授權與隱私控制將十分重要。

下一步行動

使用 Doubao 的遠端控制模式建立安全的電腦操作工作流程原型,先從非敏感本機資料夾開始,測試檔案取得、格式轉換與結果傳送。

誰應關注:Developers & AI Engineers

關鍵要點

  • 使用者可透過 Doubao 手機 App 遠端控制已完成授權的電腦。
  • Doubao 可利用電腦本機內容,處理文件、圖片、程式碼與試算表。
  • 此功能支援繼續未完成的任務、啟動新任務,以及跨多台電腦操作。
  • 使用者可取得本機檔案、轉換格式、製作摘要或圖表,並將結果傳送至手機。

🧠 深度解析

AI-generated analysis for this event.

🔑 增強重點摘要

  • Doubao 的此項功能基於字節跳動自研的 Agent 框架,強調『電腦使用代理』(Computer Use Agent)能力,旨在模擬人類操作滑鼠與鍵盤的行為。
  • 該功能整合了多模態大模型(LMM),使其具備視覺識別能力,能即時解析電腦螢幕介面並理解 UI 元素,而非僅僅依賴 API 接口。
  • 安全性設計方面,該模式要求使用者在每次遠端操作前進行二次驗證,並提供即時的螢幕錄影與操作日誌,以確保隱私與合規性。
  • 此更新不僅限於辦公軟體,還支援跨應用程式的自動化工作流,例如自動從網頁抓取數據並填入本地 Excel 檔案。
  • 該功能目前優先針對企業版用戶開放,並與字節跳動旗下的飛書(Lark)生態系統深度整合,實現跨平台協作。
📊 競品分析▸ Show
特性Doubao 工作任務模式Anthropic Claude (Computer Use)Microsoft Copilot (PC Control)
核心機制視覺識別 + 代理執行視覺識別 + 代理執行系統級 API + 深度整合
跨平台支援手機 App 遠端控制瀏覽器/API 驅動Windows 深度整合
隱私保護二次驗證 + 操作日誌嚴格沙盒環境企業級資安標準
定價模式訂閱制/企業授權API 按量計費隨 Microsoft 365 訂閱

🛠️ 技術深入

  • 採用基於視覺語言模型(VLM)的決策引擎,將螢幕像素轉換為操作指令序列。
  • 實作了低延遲的螢幕串流協議,優化了在行動網路環境下的操作響應速度。
  • 內建安全防護層,透過行為分析偵測異常操作,並在偵測到敏感資訊輸入時自動暫停代理權限。
  • 支援本地化執行環境,透過輕量級 Agent 容器在用戶端電腦運行,減少雲端傳輸數據量。

🔮 前景展望AI analysis grounded in cited sources

AI 代理將取代傳統的 RPA(機器人流程自動化)工具。
具備視覺理解能力的 AI 代理無需針對特定軟體開發 API 接口,能顯著降低企業自動化部署的門檻。
行動裝置將成為個人電腦的遠端管理中樞。
隨著手機算力與 AI 整合度提升,使用者將更傾向於透過手機進行複雜的電腦任務調度,而非直接操作電腦。

時間線

2023-08
字節跳動正式發布 Doubao AI 聊天機器人。
2024-09
Doubao 推出企業級 AI 解決方案,開始佈局自動化工作流。
2025-05
Doubao 升級多模態模型,增強對複雜 UI 介面的理解能力。
2026-08
正式推出「工作任務」模式,實現手機端遠端控制電腦功能。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: IT之家