SuperAPI AI 工具集

tao-mine-aoi-images

设计与创作

查看项目

更新于 10-16 04:34

技能介绍

用途:面向 VCN AOI 迭代,执行确定性的 DEFT「先嵌入再挖掘」流程。输入弱目标图像 parquet(如 gap 分析或路由输出)与源图池,最终产出与目标相似、去重后的源图 parquet,供下一轮训练消费。

主要能力:一是对目标图像做嵌入;二是对源池做嵌入;三是按最近邻从源池中挖掘相似图像,支持 topn、knn_metric、filter_by_label 等参数,并输出去重后的单列 filepath parquet,同时生成 mining_summary.txt(查询数、邻居数、去重数、标签过滤保留/丢弃对数)。

使用方式:三个步骤依次执行,每步输出为下一步输入。嵌入用 embedding image_embeddings -e <embedding_spec.yaml>,挖掘用 tmm nearest_neighbors -e <mining_spec.yaml>,均通过 docker run 调用 tao_toolkit.data_services 镜像;-e 指向 YAML 默认值,运行期路径用 Hydra 覆盖(key=value)。两步嵌入必须使用同一个 spec,避免编码器不一致。

限制与前置:依赖 Docker、NVIDIA 容器工具链与 GPU(嵌入前向与 cuML/cuDF 最近邻搜索均需 CUDA);所有读写路径需 bind mount,建议容器内外路径一致;源池若为 CSV 需先转 parquet;filter_by_label=true 但缺 label 列时会告警并跳过过滤;topn×N_targets 超过源池规模属预期现象。输出建议放入带时间戳目录,报告 600–1200 字,含 Verdict、Inputs、Encoder Consistency、Mining Run、Per-Label Breakdown、Output Sanity、Recommended Actions 七部分。