用途:该技能用于在 macOS 本机或 RDP 场景下抓屏、识别中文界面文字与坐标,并按文字定位并点击界面,适合远程桌面窗口、行情软件、自选列表、按钮输入框定位以及截图取字。
主要能力:技能协同两个命令行工具,scripts/gui 负责窗口激活、截图、坐标点击与键盘输入;scripts/ocr 负责调用 AI Studio OCR,输出文字、分数、坐标框,并支持按文本查找与点击。OCR 优先使用云端 aistudio-ocr,除非用户明确要求,否则不要回退到本地 Paddle,以免慢且占用内存。
使用方式:可执行入口为 scripts/ocr 与 scripts/gui,建议首次运行 scripts/setup.sh 安装依赖。云端 OCR 需配置 AISTUDIO_OCR_API_URL 与 AISTUDIO_OCR_TOKEN,可从环境变量或命令参数读取,推荐复制 scripts/.env.example 为 scripts/.env 后填写。典型流程为先 scripts/gui list-windows、activate 定位窗口,再用 scripts/gui capture 截图到 /tmp,然后 scripts/ocr ocr 识别、scripts/ocr find 查找文字与中心点,确认命中数量后再 click-text 或 gui click,点击后再截图核验。查找与点击前应先检查命中框,避免盲点;多命中时可加 --index N、--mode exact 或缩小截图区域。
适用场景:左侧菜单、顶部标签、右上角菜单栏文字、聊天窗口、日志窗口、配置页等文本密集界面,以及行情软件、表格界面、按钮密集界面中精确找字。
限制与注意:不要暴露真实 API key、token 或接口地址,统一从环境变量或命令参数读取;不要把 .env 提交回仓库。应先激活窗口再截图,否则可能抓到旧画面;同时配置两个必填变量;命中文本太多不要直接点击;避免对整个桌面做 OCR;有弹窗遮挡时不要继续点坐标。scripts/ocr find、click-text 等命令保持原样。若截图来自局部区域而非整屏,点击时需补 --screen-rect "x,y,width,height"。该技能自带可执行脚本,安装后不依赖业务仓库本身;当前说明默认命令从 skill 根目录执行。具体费用、价格与平台支持范围资料暂未提供。