该技能用于在 Cosmos Framework 中准备或运行 Cosmos3-Nano-Transfer-Auto 推理。其核心功能是依据选定相机的 WSM 控制与描述,为该相机生成一个视频;可加入 HD-map 范围控制以联合生成 RGB/LiDAR;提供初始相机图像时执行图像到视频,省略时执行带 WSM 的文本到视频。
使用方式上,首先建议用参考场景的完整请求和已发布模型建立基线,再替换为自己的输入。需选择并匹配相机:遵循装配流程,使用 Camera Rig Explorer 和映射指南为机架选择最接近的受支持身份,保持每个相机的 RGB、WSM 与描述绑定,camera_key 选择其学习到的视图嵌入。准备相机局部描述时,按训练对齐的描述风格描述目标场景,并检查跨视图的同步与一致性。生成后需检查每个相机而非仅前视图。
任务选择包括:检查输入或已有描述(不重写原描述);生成或上采样描述(av-per-view-caption,需遵循描述指南与策略);解释选项或默认值(无需媒体或启动工作);运行生成(遵循准备、运行与采样输出检查)。
准备阶段需设置 TRANSFER_AUTO_HF 为完整的本地 Transfer-Auto 快照;下载并校验共享参考场景或准备自有场景;运行输入准备(按需调用逐视图描述);参考场景设置 AUTO_REQUEST 为 input-transfer-auto.jsonl;自有数据按输入与采样指南准备 Framework JSON/JSONL 请求,设置 guidance 为 3、shift 为 10,并设置 AUTO_OUTPUT 为新输出目录。准备产物为请求加相机局部描述附属文件及同步控制/可选初始观测;仅相机到文本字典不可执行。描述文件只提供场景描述正文,Framework 自动添加相机装配与当前视图的方向/镜头/FOV 描述以及 WSM 控制任务指令作为系统提示。
运行阶段在 Framework 根目录、GPU 分配内执行提供的 torchrun 命令,需设置 COSMOS_INTERNAL=0 COSMOS_TRAINING=0,使用捆绑的负提示文本。请求提供 guidance 3 与 shift 10,命令行设置 720p、35 步等;仅 CLI 选项覆盖请求,下载的 JSONL 不变。相机、描述、控制、初始图像、FPS、帧数与种子均来自请求。分布式示例需要四个合适 GPU,内存适配与速度取决于请求和硬件。
采样与输出检查:参考请求生成 297 帧、720p/30 FPS;短检查可改为 --resolution 480 并准备 61 帧区间,匹配描述跨度与控制覆盖。支持 480p 与 720p;训练匹配尺寸使用 aspect_ratio "16,9" 得到 832×480 或 1280×720。Transfer-Auto 约在 13.3 秒块上训练,支持分块续接更长 RGB 序列。需分别检查源时间、模型 FPS 与播放 FPS。逐视图描述时负文本应通过 per_view_negative_prompt 传递。检查 sample_args.json、sample_outputs.json、各相机/控制视频及联合输出的 lidar.safetensors,核对视图身份、实际时长、数值范围与帧 ID,保存 50/50 WSM/RGB 叠加。更改输入或设置时使用新输出目录。
限制:已发布模型针对参考相机装配优化,自定义装配可能因相机位置、方向、FOV 与镜头投影差异而质量下降;选择重定向 WSM 到参考装配或保留自有装配,后者可能需要后训练。该技能不编造未提供的收费、价格或平台信息。