📰The Verge•較早收集於 30m
Gemini 任務自動化：緩慢卻令人印象深刻
💡手機首個 AI 自主使用應用—通往代理式行動 AI 的關鍵一步（28字）
⚡ 30-Second TL;DR
有什麼變化
在 Pixel 10 Pro 和 Galaxy S26 Ultra 上測試
為什麼重要
推動裝置端 AI 代理的邊界，預示 AI 未來能處理真實任務。顯示 Google 行動 AI 策略轉變，值得開發者關注整合機會。
下一步行動
在 Pixel 10 Pro 上啟用 Gemini 任務自動化 beta，測試應用程式控制功能。
誰應關注：Developers & AI Engineers
關鍵要點
- •在 Pixel 10 Pro 和 Galaxy S26 Ultra 上測試
- •僅限外送和叫車應用程式
- •Beta 版功能緩慢且笨拙
- •首個自主使用手機應用程式的 AI 助理
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •該功能基於 Google 的『Project Jarvis』技術架構，利用多模態模型即時分析螢幕像素並模擬使用者點擊與輸入行為。
- •目前該自動化流程依賴於 Android 系統層級的 Accessibility Service（無障礙服務）API，這解釋了其操作速度受限於 UI 渲染與系統回應延遲的原因。
- •Google 已與 Uber、DoorDash 等特定供應商建立 API 深度整合協議，以確保在自動化操作時能正確處理支付授權與訂單確認，而非僅僅是模擬觸控。
📊 競品分析▸ Show
| 功能/特性 | Google Gemini (Agentic) | Apple Intelligence (Siri) | Anthropic (Computer Use) |
|---|---|---|---|
| 核心機制 | 系統層級 UI 操控 | 應用程式內 Intent 整合 | 桌面環境視覺操控 |
| 定價 | 隨 Pixel/Galaxy 旗艦機附贈 | 隨 iOS 裝置附贈 | API 按使用量計費 |
| 主要場景 | 行動裝置自動化 | 系統功能與 App 內操作 | 桌面電腦工作流自動化 |
🛠️ 技術深入
- •採用基於視覺的動作規劃模型（Vision-based Action Planning），模型會將螢幕截圖轉換為語義地圖，識別 UI 元件的座標與功能。
- •利用 Android 的 AccessibilityNodeInfo 框架獲取應用程式的視圖層級結構，以提高點擊精確度，減少對單純像素識別的依賴。
- •在裝置端（On-device）運行輕量化模型進行初步意圖解析，複雜的決策路徑則透過加密通道傳輸至 Google 雲端進行推理，以平衡延遲與準確性。
🔮 前景展望AI analysis grounded in cited sources
行動作業系統將從『應用程式中心』轉向『任務中心』。
隨著 AI 代理直接操作 UI 的能力成熟，使用者將不再需要頻繁切換 App，而是直接向系統下達任務指令。
隱私與安全審核將成為 AI 代理普及的最大阻礙。
賦予 AI 操控支付與個人資料的權限，將迫使 Google 建立更嚴格的沙盒機制與使用者授權驗證流程。
⏳ 時間線
2023-12
Google 發布 Gemini 1.0 模型，奠定多模態處理基礎。
2024-05
Google I/O 大會預告 Project Astra，展示 AI 在手機上的即時視覺理解能力。
2025-09
Pixel 10 系列發布，首次搭載專為 Agentic AI 優化的 Tensor G6 晶片。
2026-02
Google 在 Android 開發者預覽版中釋出 Gemini 任務自動化 API 的初步測試版本。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： The Verge ↗