SuperAPI AI 工具集

vision-skills

设计与创作

查看项目

更新于 10-15 19:56

技能介绍

用途:为只能处理文本的智能体提供“眼睛”。五个本地 CLI 按问题类型选用:问“图里是什么/写了什么”用 glance;问“某个可命名目标在哪”用 ground;问“某类元素的全部实例”用 detect;问“精确形状/尺寸/偏移”用 trace;问“把某个框裁成图片”用 crop。配套脚本还覆盖长截图 OCR、前景提取为透明 PNG、HTML 转截图、像素差异对比、区域主色提取。

主要能力与配置:共用一份视觉配置(VISION_API_KEY / VISION_BASE_URL / VISION_MODEL / LANG),另有可选的 VISION_API_PROTOCOL、VISION_REASONING_EFFORT、VISION_USER_AGENT,无需额外凭据。ground 与 detect 返回真实坐标,但基于 0-1000 网格缩放,非像素级精确,适合裁剪、点击、位置比较;需要精确数值时用 trace(本地,无需视觉 API)。

必要用法示例: glance <image> -q "<question>" glance <image> --ocr ground <image> "<target description>" detect <image> "buttons" trace <image> --polygon crop <image> --region X1,Y1,X2,Y2 --scale 4 python3 scripts/long_screenshot_ocr.py work/page.png -o work/page.ocr.md python3 scripts/html_shot.py page.html --full-page 注意提供方原生 0-1000 框数组顺序不同:Gemini 用 [y0,x0,y1,x1],Qwen3-VL 等用 [x0,y0,x1,y1],需按模型族选择。

适用场景:长截图/聊天记录 OCR、页面或组件还原为 HTML/CSS、图标/Logo 提取为透明 PNG 或 SVG、草图转 Mermaid/Graphviz、从截图操作 GUI。多步任务遵循由粗到细:先整图概览,再 ground 定位并用 glance --region 放大查看;像素级事实(精确颜色、小偏移、尺寸)不应采信模型的文字描述,应从 trace、ground 框或 pixel_diff 获取。

限制与说明:仅支持 PNG/JPEG/GIF/WebP。detect 默认面向 UI 截图,照片或视频帧需显式传类别。命令找不到说明可选工具未安装,应如实告知用户而非自行替代。视觉 API 失败需忠实转达错误,不得编造图片内容。crop 的 --scale 等部分功能需要可选 pillow,自动前景提取还需 numpy,html_shot 需 Chrome 系浏览器。相关细节可参考仓库内 references/ 各任务文档;更多安装与用法见源仓库与安装指南链接。