SuperAPI AI 工具集

cosmos3-nano-sim-bimanual-inference

智能体与模型

查看项目

更新于 10-23 00:09

技能介绍

用途:该技能用于在 Cosmos Framework 中运行 Cosmos3-Nano-Sim-Bimanual 推理,从任务描述、初始 RGB 观测和与时间对齐的双臂动作轨迹出发,预测未来视频。模型只生成视频,不负责选择机器人动作;rollout 长度、帧率和保存几何都跟随所选输入。

主要能力与支持场景:可使用当前发布的 schema-5 模型、用户自行导出的 Stage 3 学生模型,或用于留出的 PSNR 评测协议。官方示例基于 AgiBot 与 YAM 等双臂输入,包含混合动作路由示例、60 秒长轨迹示例和 frustum 检索配置。发布示例默认 900 个动作、901 帧、30 FPS,这只是示例长度,并非模型上限。

使用方式:需要专用 Framework 检出目录、Python 3.13、Git LFS、FFmpeg 共享库和 CUDA GPU。文档给出固定 uv 版本 0.11.29 的锁检查与同步命令,并设置 COSMOS_INTERNAL=0、COSMOS_TRAINING=0。需要通过 Hugging Face 令牌文件认证时,令牌应放在检出目录外,不得打印、写入命令参数或日志。使用 hf download 下载检查点与示例清单,加载前检查元数据:schema 版本 5、action_dim 为 59、四步采样时间表 [1.0, 0.9375, 0.8333333333333334, 0.625]。输入行需包含非空纯文本提示(format_prompt_as_json=false)、model_mode=forward_dynamics、action_condition=true、action_space=normalized_unified_v1、有限的 59 维动作行、action_chunk_size=T、num_frames=T+1 以及与动作对齐的 fps。推理只做五通道零填充到 64,不应再次应用训练归一化。生成命令使用 torchrun 单进程运行 cosmos_framework.scripts.inference,关键参数包括分辨率 480、图像尺寸 480、--num-steps=4、--seed=2026、自回归、KV 缓存 64、attention sink 8、latency 并行预设、关闭 torch compile 与 diffusion cache、关闭 guardrails、视频保存质量 4。使用 frustum 检索时需添加 kv_cache_frustum_path,并设置 --kv-cache-inference-size=0 --attention-sink-size=0。

验证与限制:需检查 sample_outputs.json 中的成功状态,并用 ffprobe 核对生成视频的帧数、帧率和尺寸与输入行一致;混合动作行还需检查各域切换时间点,并检查整段视频是否冻结、跳变或与动作不符。提示词建议描述物体、初始场景、机械臂分配与任务,不要添加时长或分辨率文本。提示上采样不在该流程内。该流程为模型验证命令,明确关闭 guardrails,其他应用应使用部署方的 guardrail 策略。更改输入或设置时应使用新输出目录。留出 PSNR 评分需按评测协议进行,单独生成不会启动评分。未提供的内容包括硬件显存具体要求、性能数据、费用信息与更多平台支持情况。