用途:对 NVIDIA TAO VCN Classify(Visual Component Net)的推理结果做差距分析,按真实标签找出距离决策阈值最远的错误方向样本,作为补样或重标注队列。VCN 分类头是单一分数二分类边界(PASS vs NO_PASS,依据 siamese_score),因此分析以计算为主。
主要能力:在 tao_toolkit.data_services 容器内完成阈值扫描(逐个唯一 siamese_score 加一个略低于最小值),保留满足 NO_PASS recall ≥ min_recall(容差 1e-12)的候选,取最佳 F1 阈值(先比 precision,再比阈值),计算每行带符号弱点,按真实标签取 top_k_per_label 最弱样本,并按光照展开。容器输出 kpi_gaps.parquet(列 filepath、label、siamese_score、weakness)、threshold.txt、metrics.json、weak_samples_breakdown.txt,以及在 recall 目标不可达时的 unreachable_kpi.txt。
使用方式:解析 versions.yaml 中 images.tao_toolkit.data_services 得到 DS_IMAGE,确认 docker、NVIDIA container toolkit 与 GPU 可用并缓存镜像;将工作区以相同路径挂载进容器;输入为实验目录(含 inference/inference.csv,需列 input_path、object_name、label、siamese_score)、训练 YAML 与数据集图像根目录;通过 Hydra overrides 传 min_recall、top_k_per_label,默认 min_recall=1.0、top_k_per_label=50、threshold=-1.0(扫描)。必须显式传正整数的 top_k_per_label,否则会退化为低于阈值过滤模式,在 min_recall=1.0 时只返回误判的 PASS 行、无 NO_PASS 行。
限制:需要 GPU;所有路径必须在容器内可解析;CLI 参数可能随容器构建变化,需用 --cfg=job 核对 schema;若无可达阈值则容器非零退出并写 unreachable_kpi.txt,此时跳过视觉抽查并建议重训或重标注。视觉抽查仅查看 5 个最弱 PASS 与 5 个最弱 NO_PASS 图像,并按 (input_path, object_name) 去重取首个光照。