用途
该技能使用与 Cosmos3-Nano-Sim-Transfer 匹配的检查点进行推理，从单个空间控制信号加一段说明文字生成 RGB 视频。控制信号规定运动与几何，说明文字规定外观。
主要能力
- 支持深度、分割、边缘、模糊四类空间控制输入。
- 提供 Hugging Face 示例 example2 的完整工作流：准备四条请求（depth、segmentation、edge、blur）并生成视频。
- 提供 Hugging Face 示例 example1，仅用于长 rollout 的深度或分割推理。
- 提供可选优化推理路径：同时启用 torch.compile 与 CUDA Graphs，用于因果 Stage 3 推理，并支持 benchmark 计时。
使用方式
需先完成 Framework 环境配置并准备 example2，在 Bash 中以该环境运行并分配 GPU。随后按以下步骤执行：
- 选择匹配的推理检查点。通过 HF 下载 Sim-Transfer 发布、匹配的 Nano 文本分词器与 Wan 视频 VAE，并使用资源覆盖项选择下载的 HF 分词器与 VAE（kv_cache_dtype=null 表示 BF16 缓存存储）。若使用训练流程产出的 Stage 3 DCP，则替换检查点参数数组，保留 HF 资源覆盖项。
- 准备 example2 的控制与提示词。HF 准备步骤使用保存的 example2_upsampled_prompt.json 创建四条请求：深度使用 HF example2_depth.mp4 作为 depth.control_path；分割使用 HF example2_segmentation.mp4 作为 seg.control_path；边缘与模糊使用 HF example2.mp4 作为 vision_path，并分别设置 edge.preset_edge_threshold: medium 与 blur.preset_blur_strength: medium。边缘与模糊需先将源 RGB 缩放到 480 档模型画布（example2 为 832 × 480）再计算控制。
- 运行生成。示例命令生成 121 帧、30 FPS、832×480 的 RGB 视频，保存 vision.mp4、有效请求与样本状态。其他控制方式选择对应请求 JSON 与输出目录。
- 可选优化推理：使用 --use-torch-compile --use-cuda-graphs --cuda-graph-scope block --compiled-region language 等参数。首次生成包含编译与图捕获；可用 --benchmark --warmup 1 --num-iterations 3 测量热推理延迟，时间取自 benchmark.json 中 all["OmniInference.generate_batch"]。
- 长 rollout：使用 HF example1，其控制为 600 帧、30 FPS、384×384，480 档模型画布为 640×640。准备步骤提取提示词字符串并写入两条请求，使用 --kv-cache-inference-size 30 --attention-sink-size 3 替代全历史设置。
适用场景
适用于需要以空间控制信号驱动、由文字描述外观的视频生成任务，包括常规深度、分割、边缘、模糊控制生成，以及长时长深度或分割 rollout。
限制
- 需要完成 Framework 环境配置、GPU 分配，并使用 Hugging Face 登录下载资源。
- example1 仅用于长 rollout 的深度或分割推理。
- 示例请求固定为 121 帧、30 FPS、832×480，并采用 Stage 3 蒸馏采样日程（--num-steps 4、--guidance 1、--control-guidance 1，无负提示分支）。
- 需保持零真实 RGB 条件、共享时间位置与捆绑元数据模板；每个变更请求应使用独立输出目录。
- 提示词上采样需关闭，并复用保存的结构化提示。
- 边缘与模糊控制需在缩放后的 RGB 上计算。
- 缓存量化、平台支持、价格与效果指标等资料暂未提供。