🗾ITmedia AI+ (日本)•較早收集於 42m
Claude 新增 PC 應用程式操作功能
💡Claude 可控制 PC 應用—對代理工作流程與開發生產力大有幫助（28字）
⚡ 30-Second TL;DR
有什麼變化
Claude 現可控制使用者 PC 應用程式
為什麼重要
這提升 Claude 在自動化工作流程的實用性，對需要此功能的開發者有益。它讓 Anthropic 在代理式 AI 領域更具競爭力，對抗 OpenAI 等對手。
下一步行動
在 beta 中啟用 Claude 的 PC 控制，並測試應用程式自動化腳本。
誰應關注：Developers & AI Engineers
關鍵要點
- •Claude 現可控制使用者 PC 應用程式
- •Anthropic 公布此功能
- •擴大 AI 真實世界互動範圍
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •此功能被 Anthropic 稱為「電腦使用」（Computer Use）能力，允許 Claude 透過模擬滑鼠移動、點擊與鍵盤輸入來操作桌面環境。
- •該技術並非透過傳統 API 整合，而是透過視覺化分析螢幕截圖，讓 Claude 能夠像人類一樣「看見」並理解應用程式介面。
- •為了安全性與隱私，Anthropic 強調此功能在受控環境中執行，並建議使用者避免在操作期間處理敏感資料，且該功能目前仍處於測試階段。
📊 競品分析▸ Show
| 特色 | Claude (Computer Use) | OpenAI (Operator) | Google (Project Jarvis) |
|---|---|---|---|
| 操作方式 | 視覺化螢幕截圖與模擬輸入 | 預期為類似的代理人操作 | 預期深度整合 Chrome 瀏覽器 |
| 定位 | 跨應用程式通用代理 | 網頁與桌面自動化 | 瀏覽器優先的自動化 |
| 狀態 | 已公開測試 | 研發中/小範圍測試 | 研發中 |
🛠️ 技術深入
- •採用多模態模型架構，將螢幕截圖作為輸入，並輸出對應的座標點擊與鍵盤指令。
- •利用視覺模型（Vision Model）即時解析 UI 元素（如按鈕、輸入框），並將其映射至螢幕座標系統。
- •實作上包含一個受限的虛擬環境或沙盒，以限制 AI 對系統底層檔案的存取權限，防止惡意操作。
- •延遲（Latency）主要取決於螢幕截圖的處理速度與模型推理時間，目前針對複雜 UI 的操作仍存在一定的反應時間。
🔮 前景展望AI analysis grounded in cited sources
AI 代理將取代部分重複性的桌面行政工作。
具備操作應用程式能力的 AI 能自動執行跨軟體的資料搬移與報表製作，大幅降低人工操作需求。
作業系統介面設計將因 AI 代理而改變。
為了讓 AI 更容易理解與操作，未來的軟體介面可能需要提供更友善的語意標籤或專屬的 AI 互動 API。
⏳ 時間線
2024-03
Anthropic 發布 Claude 3 系列模型，強化視覺與推理能力。
2024-10
Anthropic 正式推出 Claude 的「電腦使用」（Computer Use）功能測試版。
2025-06
Anthropic 針對 Claude 代理能力進行大規模效能優化與安全性更新。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ITmedia AI+ (日本) ↗