用途:为 Android 自动化提供屏幕理解能力,在执行操作前后验证界面状态,按文字或外观定位 UI 元素,构建可靠的自动化流程。
主要能力:ADB 截图并本地保存;基于 Tesseract 的 OCR 文字提取;基于 OpenCV 的模板匹配元素检测;ADB 坐标点击并支持验证。
脚本与用法:
- adb-screen-capture.py 截图,支持 --device、--output、--json。
- adb-ocr-extract.py 提取文字,支持 --image、--search、--json。
- adb-find-element.py 查找元素,支持 --method ocr/template、--target、--template、--threshold、--json。
- adb-tap-coordinate.py 点击坐标,支持 --x、--y、--device、--verify-text、--timeout、--json。 示例:uv run .claude/skills/adb-screen-detection/scripts/adb-screen-capture.py
典型模式:先截图,再查找元素,最后点击并验证;或先 OCR 搜索文字,再获取坐标点击;也可用模板图片匹配后点击。
依赖:系统需 adb;Python 需 pytesseract、opencv-python、pillow、numpy;OCR 需安装 Tesseract。
限制:模板匹配阈值需按场景调整,推荐 0.8-0.9;设备离线需检查 adb devices 并重连;资料未提供收费、价格与平台支持范围等信息。