SuperAPI AI 工具集

tao-generate-video-reasoning-annotations

设计与创作

查看项目

更新于 10-16 04:34

技能介绍

用途:把原始视频转成用于视频理解模型的思维链问答训练数据。视觉语言模型(如 Gemini、Qwen)充当教师标注器:步骤 0–1 需模型看视频(VLM 调用),步骤 2–3 为纯文本(更便宜的 LLM 调用)。

主要能力:流水线含步骤 0 可选筛选与分类、1a 全局与密集字幕、1b 分块字幕、1c 可选异常高亮、2 描述合成、3 问答生成(MCQ、判断、开放式含推理)、4 解析输出为 tao-vl-reason-v1.0 JSON。各步骤可通过 workflow.steps 单独选择,内置断点续跑,跳过已处理视频。

使用方式:在 TAO Toolkit 容器内经 auto_label CLI 运行,例如 auto_label generate -e /path/to/spec.yaml results_dir=/results video_reasoning_annotation.data.video_root=/videos video_reasoning_annotation.vlm.gemini.api_key=$GOOGLE_API_KEY video_reasoning_annotation.workflow.mode=auto。可用 auto_label default_specs 生成默认 spec,再设 autolabel_type: "video_reasoning_annotation"。所有字段支持 Hydra 点号覆盖。

输入支持 video_root 目录或含 {"video_path":"..."} 的 JSONL。输出至 results_dir 各步骤子目录,步骤 4 生成最多 10 个任务 JSON 文件。

适用场景:通用、交通、仓储等视频领域,用于构建视频推理标注数据集。

限制:需 VLM 端点(Gemini 密钥或 OpenAI 兼容端点);分块字幕与高亮需 ffmpeg/ffprobe;运行于指定 TAO Toolkit 容器。定制领域需先按领域适配流程填写提示模板。价格、具体效果等资料暂未提供。