用途:本技能面向需要用 PyAutoGUI 控制鼠标键盘、并用 OpenCV 做屏幕图像识别的 GUI 自动化项目,解决单纯调用 PyAutoGUI 时遇到的画面加载延迟、像素误差、多语言输入报错和实时识别算力瓶颈等问题。
主要能力:高速屏幕捕获与实时检测;渐进放宽阈值的模板匹配;同一界面多目标(图标、复选框)识别与重复坐标过滤;通过 LocATE-INTERACT 模式实现等待加载后再精确点击;多线程并行控制(识别线程与控制线程分离并用锁同步);Fail-Safe 安全装置的全局设计;借助剪贴板绕过韩文等非 ASCII 文本输入限制。
使用方式:先安装依赖 sudo pip3 install pyautogui opencv-python pyperclip pillow numpy;在脚本开头设置 pyautogui.FAILSAFE = True 与 pyautogui.PAUSE = 0.1;用 Pillow ImageGrab 做内存截屏配合 OpenCV matchTemplate(如 TM_CCOEFF_NORMED)替代原生匹配;可调用内置工具函数,例如 from scripts.pyautogui_utils import wait_and_click_opencv,再执行 wait_and_click_opencv('button.png', timeout=10, initial_threshold=0.95)。
适用场景:游戏或实时仪表盘等快速变化画面的检测与响应、存在压缩损失的图像匹配、多目标界面元素识别、需要高稳定性长时间运行的自动化流程。
限制:macOS 需在系统设置中授予屏幕录制权限并重启应用,否则截屏不生效;多线程需自行用 threading.Lock 同步;技能包内附 api_reference.md、opencv_reference.md、best_practices.md 与 pyautogui_utils.py 供参考;具体收费、平台支持范围与效果指标暂未提供。