SuperAPI AI 工具集

cosmos3-nano-sim-bimanual-troubleshooting

智能体与模型

查看项目

更新于 10-23 00:10

技能介绍

用途

该技能用于诊断 Cosmos3-Nano-Sim-Bimanual 在各环节的失败,重点不是随机试错,而是定位“第一个被破坏的边界”:环境与分配、数据物化、启动环境与布置、解码或共享输出根、检查点操作与阶段角色、输入访问或生成契约、样本总体与目标对齐。每一步都应保存原始命令、代码修订、解析后的配置、不可变检查点、所选变体、首个回溯和失败输入标识。

主要能力

  1. 运行时与访问检查:在锁定环境中确认包来源、CLI 可用性、Torch/CUDA 状态和 /dev/shm 容量。资料明确:仅推理安装保持 COSMOS_TRAINING=0;训练需 COSMOS_TRAINING=1 及训练 extra。若 uv sync --locked 报告锁过期,应使用指定解析器验证锁文件,而不是用不兼容的解析器重新生成。
  2. 单输入校验:使用 Framework 的检查器对 schema-5 导出与最小失败清单进行校验,覆盖宽度、掩码、域、时序、字幕与划分。要求 T 个动作对应 T+1 个观测、4k+1 输出帧;不得静默裁剪某一模态,也不得通过重塑数值或重标体现来“修复”映射。
  3. 分阶段启动检查:确认每个 rank 的包来源、共享绝对路径、模型/VAE 资产与输出根可读;多节点需检查节点 rank 唯一、集合点地址可达、GPU 数量与 NCCL。
  4. 训练进度检查:针对 OOM 或集合通信挂起检查世界大小、并行度、最大样本、token 预算、激活检查点等,一次只改一个受支持的内存设置;针对首批停滞检查本地媒体解码与阶段窗口;针对迭代 3 的 zip/AOT 加载失败检查 config.job.path_local 是否为节点本地,并设置共享的绝对 IMAGINAIRE_OUTPUT_ROOT 与唯一运行名;缺失 libnppicc.so.13 时按安装指南检查库路径与 FFmpeg 搜索路径;非有限损失时保留坏批次用于诊断,不得静默丢弃样本。
  5. 检查点身份与状态:区分阶段、精确保存迭代、regular/EMA 变体,以及是仅权重热启动还是同阶段续训。新阶段继承迭代或优化器状态时应设 checkpoint.load_training_state=False 并应用该阶段输入与跳表。Stage 0 从 Cosmos3-Nano 加载报缺失 net_ema.* 时,恢复严格 regular 加载、跳过缺失 EMA 树与新动作模块,再通过源检查的后加载回调复制 regular 树到 EMA,不得为掩盖未知键而放宽严格性。全状态续训要求阶段、配置、模型、优化器、调度器、EMA、预处理、数据集、采样器、拓扑与变体全部兼容。导出若找不到视觉张量,需检查键空间:导出器仅接受单一明确的 visual.* 或 model.visual.* 前缀,二者并存即无效。
  6. 生成检查:运行原生检查点与输入检查,验证导出、图像与动作 sidecar;确认对象存在或改用受支持的行;字段被拒时先比对导入包来源与分阶段源码;视频过短、静止或损坏时检查实际检查点、schema、归一化动作、帧数、域、提示词、种子与解码属性;调度不匹配时选择匹配的检查点与命令,保留所选导出已保存的调度与对应 CLI 步数;进程组不匹配时要求解析世界大小等于启动数量,并在加载权重前验证 DP 与 CP/CFG 乘积的可整除性。
  7. 评估检查:聚合前比对计划样本 ID 与输出及指标行,失败、跳过、重复、损坏与缺失目标均计入分母;PSNR 差异需对齐成员、目标、RGB/动作预处理、检查点变体、种子、生成配方与指标实现,不得通过缩放、截断或丢弃样本强行得到分数。

使用方式

按症状表从最便宜的检查入手,依次执行七类检查,每阶段通过后再用单样本重跑原边界。恢复后记录症状、根因、修正与复跑检查,并说明既有输出是否仍可比较。

适用场景与限制

适用于 Cosmos3-Nano-Sim-Bimanual 的安装、数据准备、训练、检查点交接、生成与评分排查。资料未提供具体硬件要求、性能数据、许可与价格信息,这些暂未提供。