SuperAPI AI 工具集

glmv-grounding

通用与其它

查看项目

更新于 10-16 09:54

技能介绍

GLM-V 原生定位能力可用于定位图像或视频中由提示描述的目标。glmv-grounding 技能负责从模型输出中提取并可视化这些定位结果,具体格式依用户提示而定,可为 2D 边界框、目标检测 JSON、2D 点、3D 边界框或目标跟踪 JSON。若提示未明确指定格式(如“找到 xxx 的位置”“给 xxx 画框”),默认按 2D 边界框处理。

用途与能力:对图像中任意提示描述的目标进行定位,默认输出 2D 边界框,也支持 2D 点、多边形与 3D 边界框;对视频中任意提示描述的目标进行跟踪,输出形如 {"0": [{"label": ..., "bbox_2d": ...}, ...], ...} 的 JSON。配套工具函数可解析自然文本中的坐标、点与 JSON,做坐标归一化与反归一化,并可视化框、点、3D 框与视频跟踪结果。坐标采用归一化相对值,x=round(x_pixel/W1000),y=round(y_pixel/H1000),范围 0-1000,像素坐标原点在左上角。

使用方式:需配置 ZHIPU_API_KEY 调用 GLM-V API,API Key 获取地址为 https://www.bigmodel.cn/usercenter/proj-mgmt/apikeys,配置命令为 python scripts/config_setup.py setup --api-key YOUR_KEY。先安装依赖 pip install -r scripts/requirements.txt,主要包包括 requests、Pillow、opencv-python、numpy、matplotlib、decord,视频可视化还需系统依赖 ffmpeg。图像定位示例:python scripts/glm_grounding_cli.py --image-url "URL" --prompt "目标描述";视频跟踪示例:python scripts/glm_grounding_cli.py --video-url /path/to/image.jpg --prompt "跟踪目标描述" --visualize --visualization-dir "./vis"。回复用户时应给出包含坐标的自然语言,并按需采用对应 Python 数据格式。

限制与注意事项:API 端点固定为官方智谱 Chat Completions 端点,API Key 环境变量固定为 ZHIPU_API_KEY,超时可选环境变量 GLM_GROUNDING_TIMEOUT(秒,默认 60)。URL 输入仅限公开 http/https 目标,拒绝 localhost 与私网目标。若提取出的坐标值大于 1000,说明模型可能输出了未归一化坐标,应从用户请求中提取目标短语并再次查询,明确要求输出基于图像尺寸归一化到 0-1000 的相对值。收费、价格、平台细节与效果数据暂未提供。