用途:desktop-use 是 droid-control 工作流的后台知识,不被直接调用,用于通过 trycua cua-driver 驱动原生 GUI 应用自动化。核心原则是单一控制器操作一个精确 GUI 目标,观察每次效果,并在用户后置条件被证明后停止。
主要能力与流程:发现阶段用 cua-driver list_apps,需要启动时用 launch_app,再从响应或 list_windows 选择目标窗口;观察用 get_window_state,传入已观察到的 pid、window_id 和本次运行的 session,可用 query、max_elements、max_depth 限制大树;操作用 click / type_text,需精确目标和新鲜 element_token,x,y 只能来自有效目标截图;菜单与几何优先用 invoke_menu 配合已观察菜单路径,或 set_window_frame,并验证结果窗口状态;验证用新的 get_window_state / get_desktop_state,或 verify_state;结束前完成自有录制,再 end_session,除非被要求关闭,否则保留个人应用和共享服务。
使用方式:默认用 CLI 或已有 MCP 连接。示例命令:cua-driver get_window_state '{"pid":844,"window_id":10725,"session":"RUN_ID"}';cua-driver click '{"target":{"kind":"window","pid":844,"window_id":10725},"element_token":"s0000002a:14","session":"RUN_ID"}'。检测与设置命令包括 command -v cua-driver、cua-driver --version、cua-driver status、cua-driver doctor、cua-driver describe click。无需单独安装 Cua skill;保留现有可执行包装器与服务归属;二进制缺失时须先获批准再使用官方安装器。
平台要求:macOS 需辅助功能与屏幕录制授权,由用户运行 cua-driver permissions grant 并批准提示;Windows 运行时须在交互式桌面会话而非 Session 0;Linux 以图形用户在其显示/会话总线运行,原生 Wayland 可能需在服务环境设置 CUA_DRIVER_RS_ENABLE_WAYLAND=1,合成器捕获/输入/视频支持不一。
限制与规则:不得替换方法,Cua 原生输入排除 CDP、DOM、应用 API 和 shell/媒体快捷方式;不得共享桌面控制;不得复用过期或模糊目标,新快照会使旧句柄失效;不得从缺失证据推断像素;不得隐式升级权限;不得把投递等同于完成,需重新观察并检查后置条件。录制仅在请求时进行,视频默认关闭,录制工具无公开 session 参数,须在持久 MCP 连接上运行,断开前完成收尾。失败时按失败映射处理,如缺二进制/权限/能力应报告 BLOCKED 并与用户解决,而非静默安装或改安全设置。