该技能文档描述在 Cosmos Framework 中将 Cosmos3-Nano-Transfer-Auto 后训练蒸馏为 Cosmos3-Nano-Sim-Auto 的完整工作流。
用途 目标是训练出仿真器模型 Cosmos3-Nano-Sim-Auto。起点必须是兼容的 Transfer-Auto 检查点(也包括已适配到自身相机装置或领域的 Transfer-Auto),不支持从普通 Cosmos3-Nano 开始,也不支持直接对已发布的蒸馏 Sim-Auto 学生做常规 SFT。
三阶段流程
- Stage 1:teacher forcing(TF),学生从 Transfer-Auto 开始,使用干净的前序观测进行因果生成。
- Stage 2:teacher-forcing diffusion consistency(TF-dCM),学生从已接受的 Stage 1 出发,教师为冻结的 Stage 1,目标是把生成缩减为四次去噪步骤。
- Stage 3:self-forcing distribution matching(SF-DMD),学生从已接受的 Stage 2 出发,教师为原始双向 Transfer-Auto,学生使用自身前序预测生成;同时训练一个由原始 Transfer-Auto 教师初始化的假评分网络,该网络不进入推理产物。
所需条件 需要完整的 Transfer-Auto 快照及匹配的文本、RGB、LiDAR tokenizer;自有成对的录制数据、控制与字幕,并打包为经过验证的本地数据包;共享环境;与所选拓扑匹配的算力分配和新的输出目录。文档建议先用 Transfer-Auto 数据准备流程生成同样格式,再套用 Sim-Auto 数据设置,包括通用数据包构建器所需的相机映射覆盖。示例参考场景(daytime_scene,720p/300 帧)仅作格式示例,不是训练语料,且需套用短训练设置,因为完整 TF 窗口放不下。字幕文件只保留场景描述,相机装置/当前视角方向、FOV 描述以及 WSM/HD-map 联合任务指令会在格式化与 tokenization 时自动添加,不要在标签中重复。
使用方式 先按 Framework 安装指南配置环境,并复用可用的 Framework 环境。主要步骤包括:激活环境并设置 COSMOS_INTERNAL=0、COSMOS_TRAINING=1;用 hf download 获取指定 revision 的 Transfer-Auto 快照,或用已适配的导出;设置 AUTO_BUNDLE、VIDEO_VAE、SIM_AUTO_STAGE0_CHECKPOINT、IMAGINAIRE_OUTPUT_ROOT、SIM_AUTO_RUN_GROUP 等变量,运行 prepare_sim_auto_checkpoint 将初始模型转换为仅含权重的迭代根;保留通用数据包的相机映射覆盖,通过 STAGE 变量选择 stage1_tf、stage2_tfdcm 或 stage3_sfdmd 对应实验模块;先用 train_experiment --dryrun 检查解析后的配置(初始模型、相机映射、VAE/文本资源、数据窗口与拓扑),再用 torchrun 在各节点按各自 node rank 启动训练。参考 CP/FSDP 度为 32/64;短首次运行应使用现有 smoke 设置,而不是开启 COSMOS_SMOKE。输出位于 $IMAGINAIRE_OUTPUT_ROOT/cosmos3_interactive/$SIM_AUTO_RUN_GROUP/stageN_seed0。
阶段衔接与检查 接受 Stage 1 检查点后,把其精确迭代根设为 SIM_AUTO_STAGE1_CHECKPOINT,将 STAGE 改为 2 并重复配置与启动。接受 Stage 2 后,绑定其 model/ 与原始 Transfer-Auto 教师模型,改用 STAGE=3 再执行。需在 phase_metrics.jsonl 中同时检查学生与评分网络的更新,而不只看总迭代进度;随后按检查点接受与导出流程导出常规 Stage 3 学生,并在留出控制上运行推理。阶段之间使用常规网络权重,不要用 EMA;每个新阶段从新的优化器、调度器和迭代状态开始,同阶段恢复则还原该阶段完整状态。
预算与限制 参考预算为每阶段 4000 次总训练迭代;Stage 3 以一次学生更新对五次评分网络更新交替,即 4000 次迭代产生 667 次学生更新和 3333 次评分网络更新。训练使用成对 RGB/LiDAR dropout 与逐相机字幕,应同时检查有 LiDAR 和无 LiDAR 的批次。dryrun 只解析配置,不加载权重也不训练。需保留已接受检查点、解析配置、运行时/源码版本、数据清单和测试结果;不得在 MR、日志或模型导出中上传机密数据或凭据。
适用场景 适用于在 Cosmos Framework 中对 Cosmos3-Nano 系列做仿真器后训练、领域/相机装置适配后蒸馏,以及需要多阶段检查点交接与分布式训练的分阶段实验。具体硬件要求、数据规模、效果指标与收费信息暂未提供。