用途:通过命令行脚本驱动桌面自动化,完成截图、鼠标键盘模拟、图像与颜色识别、对话框交互等任务,适合自动化操作桌面应用、执行 UI 测试或处理重复性操作。
主要能力:截图(全屏、区域、写入剪贴板);鼠标控制(点击、双击、移动、相对移动、拖拽、滚动、按下/释放);键盘操作(输入文本、按键、组合键,以及复制、粘贴、剪切、全选、撤销、重做、保存等快捷操作);颜色操作(获取像素颜色、按容差或区域查找颜色);图像识别(查找图片位置、查找全部匹配、等待图片出现或消失);对话框(警告、确认、输入);系统信息(屏幕分辨率、鼠标位置、窗口信息);等待与暂停。
使用方式:所有操作均通过 python scripts/automation.py <action> [参数...] 调用,结果为 JSON。核心依赖 pyautogui 与 pillow,脚本会自动安装。图像识别使用 confidence 参数需安装 opencv-python(pip install opencv-python)。截图到剪贴板、获取窗口信息等需安装 pywin32。
安全设置:已启用 FAILSAFE,将鼠标快速移到屏幕左上角会触发异常停止;每个操作后有默认 0.1 秒暂停。
限制与注意:坐标系以屏幕左上角为原点,向右 X 增加、向下 Y 增加;Windows 上某些操作可能需管理员权限;多显示器下坐标可能跨越多个屏幕;图像识别受屏幕分辨率与缩放影响,建议使用 confidence 提高鲁棒性。其他细节资料未提供。