用途:对 nvidia/Cosmos-Reason2-8B 进行视频问答(video QA)与视频推理任务的有监督微调(SFT),也可用于评估、量化与推理。预训练权重来自 HuggingFace,而非 NGC,且为门控模型,必须提供 HF_TOKEN,用户需先在 https://huggingface.co/nvidia/Cosmos-Reason2-8B 接受模型协议并授予读取权限。令牌通过 docker_env_var 传入容器。
主要能力:使用 FSDP 并行,GPU 数由 dp_shard_size 指定,节点数由 dp_replicate_size 指定(非标准 num_gpus/num_nodes)。模型为 8B 参数,推荐 8×A100 或 H100(各 80GB)。数据集类型为 llava 格式的 vlm,支持训练、评估、测试;输入可为数据集根目录(root 模式映射 <root>/annotations.json 并将 <root> 作为媒体路径)或直接 spec 键路径。启动前必须抽样 annotation JSON 并确认每条记录含 video_fps,缺失会导致 Cosmos-RL SFT 加载器报错 'video_fps',应在运行前停止并要求修复。
使用方式:cosmos-rl 为 mode: config。始终从 references/spec_template_train.yaml(评估用 spec_template_evaluate.yaml)以 yaml.safe_load 载入再叠加用户覆盖;spec 为嵌套字典,点号表示路径到叶节点赋值。数据源覆盖为每个动作必填。关键训练覆盖:policy.model_name_or_path 用 hf_model://nvidia/Cosmos-Reason2-8B 或本地检查点;policy.model_max_length 保持 40960 或更高;train.train_batch_per_replica 需为 train.train_policy.mini_batch 的整数倍;train.train_policy.type 保持 "sft"。评估使用扁平 TOML 配置,task 可为空字符串(通用评估器,自动检测是/否分类并计算 TP/FP/TN/FN/准确率/精确率/召回率/F1)或 "its_directionality"(左/右/直行,不用于碰撞检测)。AutoML 在模型层启用,默认经 tao-skill-bank:tao-run-automl 路由,除非显式关闭或缺少打包的 train schema/template。
适用场景:视频问答与视频推理模型的微调、评估、量化与推理,以及 DEFT 视频 QA 工作流契约。
限制:仅支持 config 模式与 llava 格式 vlm 数据;门控模型需授权;token 与数据集格式错误会导致启动失败;AutoML 不可运行状态需等 schema 生成;暂未提供其他平台或价格信息。