SuperAPI AI 工具集

pyautogui-automation

通用与其它

查看项目

更新于 10-16 08:10

技能介绍

用途:该工具通过命令行脚本驱动 PyAutoGUI 完成桌面自动化,适合自动化操作桌面应用、执行 UI 测试或处理重复性任务。

主要能力:截图(全屏、区域、到剪贴板);鼠标控制(点击、双击、移动、相对移动、拖拽、滚动、按下/释放);键盘操作(输入文本、按键、组合键及复制/粘贴/全选等快捷操作);图像识别(查找图片位置、查找全部匹配、等待图片出现或消失);颜色操作(获取像素颜色、按 RGB 查找颜色位置);对话框(警告、确认、输入);系统信息(屏幕分辨率、鼠标位置、窗口信息)。

使用方式:基本模式为 python scripts/automation.py <action> [参数...],所有操作返回 JSON。示例:python scripts/automation.py screenshot --output my_screenshot.png;python scripts/automation.py click --x 100 --y 200;python scripts/automation.py type_text --text "Hello World";python scripts/automation.py locate_on_screen --image button.png --confidence 0.9。脚本会自动安装 pyautogui 与 pillow;使用 confidence 需安装 opencv-python。

限制与注意:屏幕左上角为原点,向右 X 增加、向下 Y 增加;Windows 上某些操作可能需要管理员权限;多显示器环境下坐标可能跨屏;图像识别受分辨率与缩放影响,可用 confidence 提高鲁棒性。脚本已启用 FAILSAFE(鼠标快速移至左上角触发异常停止)和 PAUSE(默认 0.1 秒操作后暂停)。更多细节及脚本模块划分(如 utils.py、mouse.py 等)需参考原始资料。