SuperAPI AI 工具集

sn-da-image-caption

设计与创作

查看项目

更新于 10-16 03:11

技能介绍

用途:当图片文件是主要输入且需要理解、提取数据或分析内容时使用。核心流程为先运行 scripts/caption.py 得到文本描述,再将描述解析为结构化数据(如 DataFrame),最后进行分析、可视化或导出。

主要能力:脚本通过 vision 模型把图片转为文本描述;自动检测图片类型(chart/table/UI/diagram/general)并选择合适提示词;大于 5MB 或 2048px 的图片会先压缩;同一图片与提示词命中缓存时直接返回结果;失败会重试,永久失败返回错误信息。支持单图、指定提示词、JSON 输出、批量处理目录及覆盖模型。

必要用法:基本调用为 python3 scripts/caption.py /mnt/data/image.png;自定义提示词用 --prompt,例如 python3 scripts/caption.py /mnt/data/chart.png --prompt "提取所有数值,Markdown 表格格式";JSON 输出用 --json;批量用 python3 scripts/caption.py /mnt/data/images/ --batch --output /mnt/data/captions.json;覆盖模型用 --model。其他选项包括 --no-cache、--output/-o。配置通过 SN_API_KEY,也可用 SN_VISION_API_KEY、SN_VISION_BASE_URL、SN_VISION_MODEL 细粒度控制。默认模型为 sensenova-6.8-flash-lite。

适用场景:图表数据提取、表格截图转 Markdown 表格、UI 截图描述、流程图/架构图节点与连接关系描述、照片等通用图片理解;从 Python 中可通过 subprocess 调用,解析返回的 Markdown 表格为 DataFrame,并导出 Excel 或绘图。

限制:需先配置有效 API Key;文本描述质量取决于模型与提示词;大表格可能被截断,建议分两段提取;matplotlib 中文字体需在绘图前设置,否则中文乱码;单张图约 10-30 秒,批量需相应延长超时;应从 caption 结果而非文件名猜测图片内容,提取后应校验数据。具体收费、价格与平台信息暂未提供。