该技能用于诊断 Cosmos3-Nano-Sim-Transfer 在既有工作流中出现的设置、检查点加载、媒体对齐、训练状态和输出故障。基本做法是从第一个失败的操作入手,同时保留最后一个已完成的检查点和已有输出,再将实际生效的输入与模型身份同共享约定进行比对。
技能按症状分为五类并与参考文档对应:导入失败、CUDA 不可用或缺失库对应运行时;未知模型别名或不兼容权重对应模型与运行时;控制缺失、扭曲或漂移对应媒体与数据;标志被忽略、输出被覆盖或几何异常对应推理;重启状态错误或训练失败对应训练状态。
在运行时方面,需确认失败命令所用的 checkout 与解释器,可查看 Python 版本、PyTorch/CUDA 信息以及推理脚本帮助,并与环境要求对比。遇到框架导入缺失时,应激活基于框架目录安装的环境,清理继承的 PYTHONPATH 与 COSMOS_DISTILLATION_IMPL,设置 COSMOS_INTERNAL=0;原生 DCP 配置组合还需 COSMOS_TRAINING=1。导入 typing.Self、typing.override 或 tomllib 报错说明解释器不兼容,应使用固定版本。共享库故障需检查命名库和继承的 LD_LIBRARY_PATH,并按文档完成原生依赖设置,不应以 CUDA stub 替代。
在模型与运行时方面,未知目标别名或不支持的类别意味着产物配置与运行时不匹配,应使用相互匹配的版本;重命名模型类不会转换权重。原生 DCP 应从已完成检查点中选择 EMA;HF 发布版则传入其目录与自带 config.json,不使用 EMA 标志,并通过 Hugging Face 设置获取匹配的模型、分词器和视频自编码器。若 DCP 推理报缺少 COSMOS_SIM_TRANSFER_* 环境变量,需提供训练运行中的 Stage 0/Stage 2 父项与准备好的 example2 包。Hydra 会在推理跳过仅训练用加载器和父项初始化之前解析训练配置;用新训练的 Stage 3 权重推理应使用原生 DCP EMA 检查点。
媒体与数据方面,数量或几何不匹配时可用 ffprobe 直接检查失败媒体。RGB 与控制流必须共享相机、源时间和视野,裁剪或重定时需对所有配对流同步应用;深度与分割需要对应渲染。example2 在 Hugging Face 上提供 RGB、深度和分割,原生训练与推理从 RGB 派生边缘与模糊。每次训练抽样选择一个控制;数字分层表示时间长度桶而非模态。本地字幕边界为排他区间,[0,121) 表示第 0 至 120 帧;通用视频字幕 JSONL 使用包含式端点,应遵循本地数据约定。local_simulation 无法导入时,应使用固定框架 checkout 并安装其环境;原生本地数据路径需要 cosmos_framework.configs.simulation.local 与 cosmos_framework.data.generator.local_simulation.dataset,通用中心裁剪加载器不提供相同预处理;更改源路径或字幕需重建本地训练数据。
推理方面,应读取原生 sample_args.json 与 sample_outputs.json 了解实际请求与状态。重复请求会重新生成视频并覆盖匹配输出文件,为保留先前结果对比应使用新输出目录;更改字幕应开始新序列。Stage 3 默认文件使用 $SIM_TRANSFER_SKILL/inference/assets/sample_args.json。直接缩放需要 condition_stream_encode=false。内存失败时应识别失败的分配,并在支持的画布上缩短片段。需保留所选示例的历史策略:example2 为完整历史,--kv-cache-inference-size 0 与 --attention-sink-size 0;example1 深度/分割长滚动为 --kv-cache-inference-size 30、--attention-sink-size 3,处理窗口 601 帧且 max_frames: 600,全部 600 帧保留。模型尺寸输出时 vision.mp4 为生成的 RGB;原始尺寸输出时 vision_model.mp4 保留模型原生 RGB;transfer_geometry 记录源、模型、输出与编码器填充尺寸。
训练状态方面,需通过检查点操作选择完整状态恢复或仅权重新起点。load_ema_to_reg=True 且 load_training_state=False 表示 EMA 热启动与优化器延续被混用;新运行应使用 EMA 配全新状态,恢复则还原常规权重及其优化器。新运行若续接旧迭代,可能因已有运行身份而选中最新检查点,意图热启动应使用新运行名。仅模型导出不恢复优化器或调度器进度。本地 Stage 0 数据游标问题应检查组合回调中的 local_simulation_resume 及对应保存状态。四阶段配方定义 Stage 2 父项绑定与独立的 Stage 3 学生/教师路径,重启期间需保持父项权重可用,因为构建时会先加载它们。若损失变为非有限值,应捕获第一个失败操作,并对照参考配方比较其输入、精度、掩码、父项和优化设置。Stage 3 在每个六迭代周期中交替一次学生更新与五次评分模型更新,教师保持冻结。请求支持时应提供首个错误、checkout 与解释器、相关输入元数据及已尝试的修正,并排除凭据与私有媒体路径。