用途:把(图像 + KITTI 边界框标签)转换为统一的 annotations.jsonl,生成带定位的指代表达标注。视觉语言模型充当“教师”标注器,共四步。
主要能力:Step 0 为每个 KITTI 框生成简短区分性短语(bbox_2d、type、color、description);Step 1 生成与位置无关的整体场景标题;Step 2 将 Step 0 对象分组为短语并返回每组框列表,可选使用 Step 1 标题作上下文;Step 3(可选)对照图像复核 Step 2 的框,删除错误匹配并收紧偏差框。Step 0 与 1 在同一线程池并行。每步写各自的 step_<N>_*/annotations.jsonl,重跑时跳过已处理图像,除非 workflow.force_reprocess: true。
使用方式:在 TAO Toolkit 容器内通过 auto_label CLI 运行,例如 auto_label generate -e /path/to/spec.yaml results_dir=/results image_referring_expression.data.image_dir=/data/images image_referring_expression.data.kitti_label_dir=/data/labels image_referring_expression.vlm.gemini.api_key=$GOOGLE_API_KEY。可用 auto_label default_specs results_dir=/results module_name=auto_label 生成默认 spec,并设 autolabel_type: "image_referring_expression"。所有字段支持 Hydra 点号覆盖。需先提供图像目录与 KITTI 标签目录,或提供已有 annotations.jsonl 续跑;并选择 VLM 端点(Gemini 或任意 OpenAI 兼容端点,如 NIM、TAO 推理微服务、vLLM、自定义)。
适用场景:为指代/定位任务批量生成标注,建议先在 5-10 张图上跑全四步做试点,检查各步输出质量后再扩展。
限制:KITTI 标签每行须至少 8 个字段,不足者被静默跳过;Step 0 与 2 依赖 KITTI 标签,即使只跑 Step 1 也需设置;需容器 nvcr.io/nvidia/tao/tao-toolkit:7.2.0-pyt 与至少一个支持图像输入的 VLM 端点;PIL/Pillow 用于读取图像尺寸。若未由 TAO skill bank 插件初始化,需先运行 tao-setup skill。具体收费、价格与效果资料暂未提供。