用途
本技能用于在 Cosmos Framework 中对 Cosmos3-Nano-Sim-Transfer 模型执行后训练。该模型以空间控制片段（边缘、模糊、深度或分割）配合文本描述生成 RGB 视频；训练需要对齐的控制片段、RGB 片段与对应描述。
主要能力与流程
- 数据准备：将完整录像在构建窗口前划分为训练/验证集，保留相机、源帧率、尺寸、帧数与样本标识；准备对齐的 RGB、深度与分割，边缘与模糊由缩放后的 RGB 派生，四类控制使用相同权重。描述需与首、中、末 RGB 帧核对，保留的描述采用同窗口 93% 结构化 / 7% 稠密混合。像素归一化为 pixels / 127.5 - 1，121 帧片段转为 31 个时间潜变量，拒绝宽高比失真超过 3% 的样本。
- 分阶段训练：Stage 0 使用兼容的基础 regular 权重做双向教师训练；Stage 1 使用 Stage 0 EMA 做教师强制；Stage 2 使用 Stage 1 EMA（学生与冻结教师）做 TF-dCM；Stage 3 使用 Stage 2 EMA 做学生、Stage 0 EMA 做教师与评分模型，执行 SF-DMD。
- 执行方式：原生入口为 cosmos_framework.scripts.train_experiment，本地配置为 cosmos_framework/configs/simulation/local.py。需设置 FRAMEWORK_DIR 与 SIM_TRANSFER_SKILL，激活环境后从 Framework 根目录运行。
- 检查点：完整状态检查点包含权重、优化器、调度器、训练器与本地加载器状态；同任务续训需保持 RUN_ID 与资源绑定不变，trainer.max_iter 为包含已恢复迭代的总上限。
使用步骤要点
先完成示例数据包（Hugging Face example2）的 RGB、深度、分割、短提示与结构化描述下载及数据包准备，完成 Nano 转换并绑定本地视频 VAE、Nano 文本分词器与基础 DCP 根目录。Stage 0 还需音频分词器资产。随后用参数辅助脚本生成本地化参数，先 dryrun 检查配置，再用 torchrun 启动训练；两节点四 GPU 场景改用多节点启动器。
适用场景与限制
适用于已具备兼容基础权重、GPU 训练资源与本地对齐数据的研究或生产后训练流程。资料未提供具体硬件最低要求、训练时长、效果指标、收费或许可信息，这些暂未提供。阶段间需等待检查点写盘完成再交接；EMA 基座是否含 EMA 决定 TRANSFER_QA_BASE_MODEL_ONLY 取值。