SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场cosmos3-nano-sim-auto-inference

cosmos3-nano-sim-auto-inference

智能体与模型

查看项目

更新于 10-23 00:09

技能介绍

用途

本技能用于在 Cosmos Framework 中运行 Cosmos3-Nano-Sim-Auto 推理。它使用四步因果学生模型，从初始 RGB 图像、逐相机描述文本以及 WSM/HD 地图控制信息出发，生成同步的多相机视图，并可选择生成 LiDAR 数据。技能分两条路径：仅准备输入，或准备输入并实际启动生成。

主要能力

  • 生成同步相机视图，可选联合生成 LiDAR。
  • 支持纯相机与相机/LiDAR 联合两种任务，任务选择由请求中是否包含 lidar.control_path 决定，没有单独的联合生成命令行开关。
  • 支持 480p 与 720p，建议使用与训练匹配的横屏预设。
  • 支持长时滚动生成，资料中提到有质量上观察到的多分钟级 rollout。
  • 可输出相机视频、控制视频、描述文本分块与滚动提示记录、请求与完成记录；联合推理输出包含 range_m、intensity 和 frame_ids 的 LiDAR 文件及解码后的点云文件。
  • 提供多视图拼图预览脚本。

使用方式

  1. 按 Framework 文档完成环境设置。
  2. 将 SIM_AUTO_HF 指向下载的学生模型目录，或蒸馏得到的完整学生模型导出。模型工件需包含逐视角描述元数据、匹配的 tokenizer 以及 rolling_kv_cache_chunks、rolling_kv_sink_chunks、rolling_prompt_policy 等历史设置；不应从模型名称猜测缺失的历史参数。
  3. 按输入准备指南准备请求。示例场景为 daytime_scene：七个相机、WSM v4.0.1 控制、成对的 RGB/LiDAR 目标。可下载样例并校验校验和，将 AUTO_REQUEST 设为 $AUTO_SAMPLE_ROOT/input-sim-auto.jsonl，也可按字段说明自行编写 JSON/JSONL 请求。设置一个全新的 AUTO_OUTPUT 目录。
  4. 描述文本只提供场景描述正文。Framework 会自动附加相机装配、当前视角方向/镜头/FOV 描述，以及 WSM 控制任务指令作为系统提示，因此不要把这些内容粘贴进描述文件。
  5. 运行推理，示例命令如下：
export COSMOS_INTERNAL=0 COSMOS_TRAINING=0
torchrun --standalone --nproc-per-node=4 \
  -m cosmos_framework.scripts.inference \
  -i "${AUTO_REQUEST:?set a prepared request}" \
  -o "${AUTO_OUTPUT:?set a fresh output directory}" \
  --checkpoint-path "${SIM_AUTO_HF:?set the local student snapshot}" \
  --cp-size 4 --cfgp-size 1 \
  --no-use-torch-compile --no-diffusion-cache
  1. 采样设置：guidance 为 1，控制 guidance 为 1，使用检查点自带的四步调度。不要套用 Transfer-Auto 的 35 步/位移/负向 CFG 配方。guidance 为 1 时仍使用描述文本与控制，但负向提示不会产生 CFG 效果。
  2. 因果前端以急切模式运行并使用串行 CFG，会自动禁用不支持的编译、CUDA 图与缓存选项并报告调整。滚动的历史设置来自检查点元数据，旧式的通用 KV/sink 大小参数会被拒绝。
  3. 仅准备输入时，按输入准备指南与描述文本指南执行，返回检查后的媒体清单与逐视角描述 sidecar，不启动生成。

检查结果

输出目录中可检查 vision_view<NN>_<camera_key>.mp4 及对应控制视频、caption_chunks.json 与 rolling_prompt.json（实际使用的文本与切换）、sample_args.json 与 sample_outputs.json（解析后的请求与完成情况）。联合推理还包含 lidar.safetensors 与解码后的 lidar.pt。资料指出，在 297 个相机帧、30 FPS 下，联合推理以 10 Hz 生成 99 个 sweep。应检查源 ID 与数值范围，而不只看渲染点云；检查所有相机视图与 50/50 WSM 叠加，并在整个请求时长内比对各描述文本切换。

预览可使用：

python -m cosmos_framework.scripts.multiview_collage "$AUTO_OUTPUT" --tile-width 832

保留原始数值输出与视频。失败时参考故障排查文档。

适用场景

适用于在 Cosmos Framework 中基于参考场景与参考相机装配进行多相机视频生成，以及可选的相机与 LiDAR 联合生成；也适用于仅为推理准备输入数据并检查媒体清单与描述文本的场景。

限制

  • 已发布模型针对参考相机装配优化。自定义装配可以尝试，但相机几何差异可能降低质量；可参考参考装配重定向或自定义装配流程。
  • WSM 重定向不会重投影初始 RGB 图像。做适配时可先在自装配配对数据上微调 Transfer-Auto，再蒸馏进 Sim-Auto。
  • 新装配需与参考相机对比，并将每个相机映射到最接近的受支持身份，保持 RGB、WSM 与描述文本分配一致。
  • 描述文本需使用与 Transfer-Auto 相同的相机局部、训练对齐风格，并跨视角与时间检查外观与运动。
  • 参考配方要求对齐的 30 FPS 相机，联合推理需要该相机帧率；低帧率录制请先阅读 FPS 指南；改变播放速度不能修正模型时序或重采样控制。
  • 应使用导出的模型快照，而不是训练实验或原始 DCP 目录。
  • 内存占用与速度取决于请求和硬件；四 GPU 示例不保证在所有设备上都能容纳。