☁️AWS Machine Learning Blog•較早收集於 7m
Amazon Bedrock AgentCore Browser 推出 OS 層級動作
💡Bedrock 新功能：代理控制完整 OS 操作原生應用 (22字)
⚡ 30-Second TL;DR
有什麼變化
AgentCore Browser 的 OS 層級動作
為什麼重要
解鎖進階代理功能，用於桌面自動化。擴展 Bedrock 代理處理複雜螢幕任務。
下一步行動
在 AgentCore Browser 呼叫 OS 層級動作，測試原生 UI 自動化。
誰應關注：Developers & AI Engineers
關鍵要點
- •AgentCore Browser 的 OS 層級動作
- •InvokeBrowser API 實現 OS 控制
- •支援滑鼠/鍵盤與截圖
- •單一工作階段內互動原生 UI
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •AgentCore Browser 整合了 AWS 安全性架構，確保 OS 層級的動作執行於隔離的虛擬化環境中，防止代理程式越權存取主機敏感資源。
- •該功能採用了基於視覺的動作規劃（Vision-based Action Planning）模型，使代理能即時解析螢幕截圖中的 UI 元素，並將其轉換為精確的滑鼠座標與鍵盤輸入。
- •此更新特別針對企業自動化流程設計，支援跨應用程式（如從網頁瀏覽器複製資料並貼上至原生桌面應用程式）的無縫工作流串接。
📊 競品分析▸ Show
| 特性 | Amazon Bedrock AgentCore Browser | Anthropic Computer Use | Google Project Astra (Agentic) |
|---|---|---|---|
| OS 控制層級 | 原生 OS 層級 (滑鼠/鍵盤) | OS 層級 (透過 API 模擬) | 實驗性 OS 整合 |
| 安全性架構 | AWS 隔離虛擬環境 | 雲端沙盒 | 雲端/端側混合 |
| 主要優勢 | 與 AWS 生態系深度整合 | 高度靈活的視覺推理 | 強大的多模態理解 |
🛠️ 技術深入
- InvokeBrowser API 架構：基於 WebSocket 的雙向通訊協定，實現低延遲的指令傳輸與螢幕狀態回饋。
- 視覺處理引擎：利用 Bedrock 支援的多模態模型（如 Claude 3.5 Sonnet 或更高版本）進行螢幕像素分析，並透過 OCR 與物件偵測技術識別 UI 元件。
- 動作執行層：在虛擬化桌面環境中運行輕量級代理程式，將模型輸出的 JSON 格式動作（如
click(x, y)或type(text)）轉譯為作業系統底層輸入事件。 - 安全性隔離：每個 AgentCore 工作階段均在專屬的容器化環境中執行，並強制執行最小權限原則（IAM），限制代理程式對檔案系統與系統設定的存取權限。
🔮 前景展望AI analysis grounded in cited sources
企業自動化將從網頁爬蟲轉向全系統流程自動化。
OS 層級的控制能力消除了網頁與原生應用程式之間的自動化斷層，使代理能處理更複雜的跨平台業務流程。
UI 測試自動化產業將面臨重大轉型。
具備視覺理解能力的代理程式將取代傳統基於 DOM 結構的測試腳本，大幅降低維護成本並提升測試覆蓋率。
⏳ 時間線
2023-09
Amazon Bedrock 正式發布，提供基礎模型託管服務。
2024-05
Amazon Bedrock Agents 推出，支援自動化任務執行。
2025-11
AgentCore 框架發布，強化代理程式的推理與規劃能力。
2026-05
AgentCore Browser 推出 OS 層級動作支援。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： AWS Machine Learning Blog ↗