SuperAPI AI 工具集

cosmos3-nano-transfer-auto-post-training

智能体与模型

查看项目

更新于 10-23 00:10

技能介绍

本技能用于在 Cosmos Framework 中对 Cosmos3-Nano-Transfer-Auto 模型进行后训练。用户需自行提供录制数据与控制信号,无需访问原始训练数据集。

用途:

  • 在已发布的 Transfer-Auto 检查点上,用自有配对录制数据微调,将相机 WSM 和 HD 地图控制转换为对应的相机视频与 LiDAR。
  • 从 Cosmos3-Nano 检查点出发,按四阶段课程复现训练过程。
  • 使用已发布检查点生成驾驶场景,或基于自有 Transfer-Auto 检查点构建流式模拟器(Sim-Auto 蒸馏)。

主要能力与流程:

  1. 环境配置:按 Framework 设置指南安装,并补充 Auto 所需依赖;命令使用本检出中的四阶段配方 transfer_auto_phase1–phase4。
  2. 快速开始(微调已发布模型):激活环境后,设置 COSMOS_INTERNAL=0、COSMOS_TRAINING=1,使用 config.py 与 transfer_auto.experiment 入口。需准备 TRANSFER_AUTO_HF 本地快照、TRANSFER_AUTO_REVISION 不可变修订、TRANSFER_AUTO_DCP 新转换目录,以及匹配的 RGB VAE 与文本分词器。通过 prepare_sim_auto_checkpoint 转换双向 Auto 权重并检查 LiDAR 头与传感器表(该工具不做蒸馏)。
  3. 准备本地训练包:准备同步 RGB 与 WSM、相机局部目标对齐字幕、实测 LiDAR 与 HD 地图范围控制;创建 JSONL 训练索引,使用 auto_bundle 打包选定的物理相机(示例为七相机),构建器复制媒体与分词器资源,并从可用相机推导合格子集。需检查解码样本与实际格式化批次。
  4. 配置微调运行:选择唯一运行名与共享输出根,使用 transfer_auto_phase4 配方、仅权重初始化启动新运行(默认 50,000 联合训练步),可调整学习率、调度、dropout 与训练时长。
  5. 启动与监控:根据分配设置 NNODES、GPUS_PER_NODE、NODE_RANK、MASTER_ADDR、CONTEXT_PARALLEL、FSDP_SHARDS,通过 torchrun 启动;参考 CP/FSDP 为 32/32,较小布局需做内存与批次验证。建议先做有界冒烟测试,再训练/保存/重载;检查任务与分辨率暴露、RGB/LiDAR 损失、学习率、参数更新与完整检查点。同阶段恢复需还原完整模型/EMA、优化器、调度器、迭代与加载器状态。
  6. 导出与推理检查:从保存的已解析训练配置导出,指定权重变体与匹配分词器,使用 --use-ema-weights --no-vit --student-only-checkpoint-metadata --bundle-lidar-vae --per-view-captions on --per-view-caption-task av_joint_camera_lidar_transfer;--no-vit 生成仅推理工件,分享前需清理机器相关路径,并在固定留出场景上使用推理技能。

四阶段课程:

  • Cosmos3-Nano → 分离 RGB/LiDAR:70k 更新,单相机 RGB 片段最多 397 帧(请求 400),LiDAR 21 扫。
  • 分离传感器检查点 → 短联合 RGB/LiDAR:61 RGB 帧对齐 21 LiDAR 扫。
  • 短联合检查点 → 长联合 RGB/LiDAR:最多 397 RGB 帧对齐 133 扫,继续至联合迭代 22,000。
  • 继续长联合训练至联合迭代 50,000,模型、注意力、dropout 与调度不变。 分离传感器任务为独立样本,时长可不同;仅联合阶段要求 RGB/LiDAR 时间窗口匹配。阶段 2–4 使用对前 0.4 秒(含当前时刻)去重的跨视图注意力;阶段 3 和 4 均使用 10% 整段 LiDAR dropout。

适用场景:驾驶场景生成、相机与 LiDAR 联合建模、流式模拟器构建、基于自有数据的模型适配。

限制:需自备录制数据与控制;需匹配的 VAE 与分词器;参考场景仅作格式参考;较小 GPU 布局需额外内存与批次验证;异步保存前需阅读检查点内存要求;导出元数据需清理机器路径。