SuperAPI AI 工具集

tao-finetune-cosmos-embed

设计与创作

查看项目

更新于 10-16 04:34

技能介绍

用途:Cosmos-Embed1 是一个视频-文本联合嵌入模型,用于文搜视频、视频对视频搜索、零样本或 kNN 分类,以及语义去重。技能以容器方式提供 CLI(cosmos-embed1),支持训练、评估、推理和导出四类动作。

主要能力与用法:使用已发布的 Cosmos-Embed1 容器(由 references/skill_info.yaml 经 versions.yaml 解析),常规使用不要从私有源码构建。所有动作通过 docker run 执行,通用参数包括 --rm --gpus all --ipc=host --network=host --shm-size=64g,并挂载 data、model、specs、results 目录。训练命令:cosmos-embed1 train -e /specs/train.yaml results_dir=/results;评估:cosmos-embed1 evaluate -e /specs/evaluate.yaml;推理:cosmos-embed1 inference -e /specs/inference.yaml 'inference.query.input_texts=["..."]' inference.k=5;导出支持 ONNX 与 HuggingFace 格式。

训练策略:模型层启用了 AutoML。处理训练请求前需解析 automl_policy:显式指定或用户要求“关闭 AutoML/无 HPO/普通训练”时按 off 处理,否则默认 auto。auto 且 schemas/train.schema.json 与 references/spec_template_train.yaml 存在时,默认经 tao-skill-bank:tao-run-automl 路由。仅当 off 或缺失 schema/template 时直接训练;缺 schema 时应报告 AutoML 已启用但不可运行。非训练动作不走该路由。

数据与权重:MSR-VTT 路径需本地视频 glob 与 JSON 元数据,行至少含 video 和 caption。支持 LoRA 微调,开启时须设 model.network.visual_encoder.transformer_engine=false,常用 lora_rank 8、lora_alpha 16、lora_dropout 0.1。权重可来自本地 HF 目录、nvidia/Cosmos-Embed1-224p(可能需 HF_TOKEN)或微调后的 checkpoint。

限制:CLI 只接受本地路径与 Python glob,不支持 s3:// 直接输入,S3 数据需先同步到本地再引用;导出建议 export.on_cpu;导出部分 checkpoint 可能报缺组件;显存不足可降低 batch、改用 224p 或启用 LoRA。