用途:在 VLM 完成二分类(是/否)评测后,将模型回答与真值对比,找出失败样本,供下游 RCCA 阶段(如 cosmos 生成、根因分析)驱动 DEFT 迭代。
主要能力:读取预测 JSON,逐条比对模型回答与真值,把 FP(假阳性)和 FN(假阴性)案例写入 JSONL,并生成计数报告。
使用方式:在 TAO Toolkit 数据服务容器内调用 vlm_bcq 动作,使用 Hydra 风格 key=value 覆盖参数,例如:gap_analysis vlm_bcq
predictions_json=/path/to/results.json
results_dir=/path/to/output/gaps
若预测中的 video_id 为相对路径,需额外传入 videos_dir:gap_analysis vlm_bcq
predictions_json=/path/to/results.json
results_dir=/path/to/output/gaps
videos_dir=/path/to/videos/root
运行后从 kpi_gaps_report.txt 查看 FP/FN 数量,并让下游阶段使用 kpi_gaps.jsonl。
输入:predictions_json 必填,须为 JSON 数组,每项含 video_id、response、gt 字段;response 与 gt 通过词边界匹配识别字符串中的 yes 或 no。videos_dir 可选,用于解析相对 video_id;省略时按绝对路径使用。两者均含或均不含 yes/no 的样本会被跳过并记录警告。
输出:kpi_gaps.jsonl 每行一个 FP/FN 对象,字段含 video_id(绝对路径)、error_type(FP 或 FN)、question、ground_truth、response;kpi_gaps_report.txt 为含总 FP/FN 计数的可读表格。若未发现缺口,则不写文件并记录消息。
常见错误:predictions_json 不存在报 FileNotFoundError;非数组报 ValueError: must be a JSON array;缺少 gt/response/video_id 字段报 ValueError。
限制:仅处理二分类是/否任务;样本识别依赖 yes/no 词边界匹配,模糊或同时出现两者会被跳过;其他平台、收费与效果信息暂未提供。