用途:面向 NVIDIA TAO 的 CLIP 图文对比模型作业,覆盖微调训练、评估、嵌入推理、ONNX 导出与 TensorRT 引擎生成。无默认 NGC 预训练检查点;train.pretrained_model_path、evaluate.checkpoint、inference.checkpoint、export.checkpoint 未设置时,会从 HuggingFace(SigLIP2/OpenCLIP)或 torch.hub(Radio-CLIP)加载权重,首次使用需网络或本地镜像。
主要能力:支持零样本与微调图像分类、图文检索、嵌入提取。训练数据集类型为 image_text,支持自定义图像/字幕文件夹或 WebDataset 分片,监控指标为 val/t2i_mAP。支持模型:SigLIP2(默认 siglip2-so400m-patch16-256 等)、Radio-CLIP(c-radio_v3-b/l/h/g,需设 model.adaptor_name 为 siglip 或 clip)、OpenCLIP/NV-CLIP 多种 ViT 变体。推理输出 L2 归一化的 image_embeddings.h5 与 text_embeddings.h5。
使用方式:先确定动作,再按需加载 defaults.json、config.json、references/spec_template.yaml 等。数据集类动作需在 spec_overrides 提供图像、字幕、列表或提示词路径。导出与 gen_trt_engine 从上游作业推断父产物,否则需显式 checkpoint、ONNX 或引擎路径。gen_trt_engine、TensorRT 评估与推理在 TAO Deploy 镜像中运行;容器内命令为 clip gen_trt_engine -e {config_path},Launcher 写法为 tao deploy clip gen_trt_engine -e /path/to/spec.yaml,评估与推理对应 tao deploy clip evaluate、tao deploy clip inference。导出支持 combined 与 separate 编码器。
限制:Radio-CLIP 必须设 adaptor_name;siglip2-so400m-patch16-naflex 仅训练用,无法导出。大模型 ONNX 会生成外部数据文件,两者须同目录且不改名。动态 batch 导出需为每个输入提供 min/opt/max 形状。显存、学习率、batch 与字幕有效性需注意常见错误。attention_mask 当前被忽略,未来可能移除。