用途:Desktop Control 是 patrickporto/desktop-agent 提供的桌面自动化技能,基于 PyAutoGUI,让 AI 智能体控制鼠标、键盘、截屏并与桌面环境交互,支持 Windows、macOS、Linux。
主要能力:命令统一为 uvx desktop-agent <category> <command> [arguments] [options],分为 mouse(移动、点击、双击、右键、中键、拖拽、滚动、获取位置)、keyboard(输入文本、按键、组合热键、keydown/keyup)、screen(截图、按图像定位、OCR 定位文本、读取全部文本、取像素、屏幕尺寸、坐标是否在屏内)、message(alert、confirm、prompt、password 对话框)、app(打开应用、聚焦窗口、列出可见窗口)。
使用方式:先观察再操作,建议先执行 screen size、app list、mouse position 了解状态;打开应用后先 app focus 再输入;点击前用 screen locate-center 或 locate-text-coordinates 获取坐标;表单填写可逐字段点击或按 Tab 切换;复制粘贴用 hotkey "ctrl,c" 等。所有命令默认输出结构化 JSON,含 success、command、timestamp、duration_ms、data、error 字段,便于程序化处理。
适用场景:跨平台桌面自动化、表单填写、截图分析、UI 元素定位点击、应用启动与窗口切换、复制粘贴等重复性操作。
限制与注意:PyAutoGUI 有失效保护,鼠标移到屏幕角落会中止操作;图像定位依赖分辨率与颜色匹配,可用 --confidence 调整(建议 0.7-0.9);窗口或元素变化会导致命令失败,需处理错误码(如 image_not_found、window_not_found、coordinates_out_of_bounds 等);破坏性操作应先用 message confirm 与用户确认;带 --duration 的鼠标移动和图像定位较慢,建议限定区域或窗口。具体安装与依赖要求资料未提供。