Search

Tag: #gui-agents13 results

GUIDE 解決 GUI 代理領域偏差

GUIDE 是一個無需訓練、即插即用的框架，透過從網路教學影片擷取專業知識來解決 GUI 代理的領域偏差。它使用基於字幕的 Video-RAG 管線進行三階段擷取，以及基於反向動力學的自動化註解管線，將規劃與 grounding 知識注入代理模組。OSWorld 實驗顯示成功率提升超過 5%，並減少執行步驟，無需修改模型。

ArXiv AIResearch•Mar 30#gui-agents#video-rag#domain-bias

ScratchWorld Tests GUI Agents

Introduces ScratchWorld benchmark with 83 tasks for multimodal GUI agents in Scratch. Uses primitive/composite modes and execution-based evaluation. Exposes reasoning-acting gaps in state-of-the-art agents.

ArXiv AIResearch•Feb 12#research#scratchworld#v1