SuperAPI AI 工具集

adb-screen-detection

通用与其它

查看项目

更新于 10-16 00:04

技能介绍

用途:为 Android 自动化提供屏幕理解能力,在执行操作前后验证界面状态,按文字或外观定位 UI 元素,构建可靠的自动化流程。

主要能力:ADB 截图并本地保存;基于 Tesseract 的 OCR 文字提取;基于 OpenCV 的模板匹配元素检测;ADB 坐标点击并支持验证。

脚本与用法:

  1. adb-screen-capture.py 截图,支持 --device、--output、--json。
  2. adb-ocr-extract.py 提取文字,支持 --image、--search、--json。
  3. adb-find-element.py 查找元素,支持 --method ocr/template、--target、--template、--threshold、--json。
  4. adb-tap-coordinate.py 点击坐标,支持 --x、--y、--device、--verify-text、--timeout、--json。 示例:uv run .claude/skills/adb-screen-detection/scripts/adb-screen-capture.py

典型模式:先截图,再查找元素,最后点击并验证;或先 OCR 搜索文字,再获取坐标点击;也可用模板图片匹配后点击。

依赖:系统需 adb;Python 需 pytesseract、opencv-python、pillow、numpy;OCR 需安装 Tesseract。

限制:模板匹配阈值需按场景调整,推荐 0.8-0.9;设备离线需检查 adb devices 并重连;资料未提供收费、价格与平台支持范围等信息。