SuperAPI AI 工具集

vision-tools

设计与创作

查看项目

更新于 10-15 19:56

技能介绍

用途:为只能处理文本的智能体补上“眼睛”。五个核心 CLI 按问题类型选择:glance 回答图像是什么/写了什么(描述、定向问答、OCR);ground 定位一个可命名的目标并给出像素框;detect 枚举某一类元素的全部实例;trace 从实际像素推导精确形状几何并输出 SVG;crop 按像素框裁剪图像。配套脚本还包括长截图 OCR、前景透明 PNG 提取、HTML 转截图、pixel_diff 差异定位、dominant_colors 主色与候选色匹配。

主要能力与用法:所有工具读取共享配置 VISION_API_KEY / VISION_BASE_URL / VISION_MODEL / LANG,以及可选的 VISION_API_PROTOCOL、VISION_REASONING_EFFORT、VISION_USER_AGENT,无需额外凭据。glance 支持 --q 定向提问、--ocr、--region 放大局部、多图同调对比;ground 与 detect 返回坐标基于 0-1000 网格再缩放,非像素级精确;trace 由真实像素推导,仅适合平坦高对比图形,文字会变成曲线;crop 支持 --scale 放大。脚本用法如 python3 scripts/long_screenshot_ocr.py work/page.png -o work/page.ocr.md、python3 scripts/html_shot.py page.html --full-page、python3 scripts/pixel_diff.py <a> <b>、python3 scripts/dominant_colors.py <image> --region X1,Y1,X2,Y2 等均可直接调用。

适用场景:长截图或聊天记录 OCR、把页面/组件还原为 HTML/CSS、提取图标 logo 为透明 PNG/SVG、把草图转为 Mermaid 等结构化表示、基于截图操作 GUI、通过区域放大读取小字或校验颜色数值。

限制:仅支持 PNG/JPEG/GIF/WebP;部分脚本依赖可选 pillow(自动前景提取还需 numpy),html_shot 需要 Chrome 系浏览器;命令找不到时应向用户报告而非自行替换;视觉 API 失败需如实转述,不得编造图像内容;像素级事实(精确颜色、小偏移、尺寸)不应采信视觉模型的散文描述,应从 trace、ground 框或 pixel_diff 获取。执行像素任务时应优先调用既有工具,而非手写 Pillow 代码。