用途
NVIDIA Isaac Sim 是一套开源参考框架,构建在 NVIDIA Omniverse 库之上,用于机器人仿真、测试以及合成数据生成,面向在基于物理的虚拟环境中设计、仿真、测试和训练 AI 机器人。它可作为参考应用,帮助开发者构建自定义的基于 OpenUSD 的仿真器,或将框架能力集成到既有测试与验证流程中。
主要能力
- 多源数据导入与场景搭建:可导入 CAD、URDF(统一机器人描述格式)等数据,也可通过 NVIDIA Omniverse NuRec 和 Isaac TeleOp 引入真实世界采集数据,并将其转换为 USD。开发者通过指定材质、启用物理、配置机器人与传感器模型来组装仿真场景。
- 物理仿真:支持刚体与车辆动力学、多关节铰接、SDF 碰撞体等,用于对物理 AI 所依赖的对象与系统物理行为建模。
- 机器人学习:机器人在 Isaac Sim 中仿真,并可结合 NVIDIA Isaac Lab(开源统一机器人学习框架)进行机器人学习,用于虚拟训练、测试与验证机器人系统。
- 可控合成数据生成:支持合成数据生成,开发者可构建自定义数据管线以补充现有数据源;可对光照、反射、颜色、位置等属性进行随机化来生成训练数据,并可通过 NVIDIA Cosmos 世界基础模型进一步扩充数据。标注类型可包括 RGB、边界框、实例分割、语义分割等,标注数据可导出为 COCO 和 KITTI 格式。
- 端到端评估:可在仿真中训练感知与移动栈,并通过软件在环或硬件在环测试在 Isaac Sim 中评估端到端系统。
- ROS/ROS2 连接:可通过 Isaac ROS/ROS2 Bridge 扩展将 Isaac Sim 连接至 ROS/ROS2。
- 扩展性与规模化:Isaac Sim 完全可扩展;可轻松扩展至多 GPU 以加速仿真。自定义 ROS2 消息与 URDF/MJCF 已开源,支持通过独立脚本手动控制仿真步骤。
使用方式
- 系统准备:先检查机器是否满足系统要求与兼容性,然后安装 Isaac Sim。
- 下载渠道:可从 GitHub 下载,或在 Brev 上使用;也可从 NGC 下载容器,在偏好的云服务商上运行;AWS 用户可通过 AWS Marketplace 部署 Isaac Sim 容器。
- 学习资源:官方提供文档、机器人仿真概览、Isaac Sim 课程、Isaac Sim Office Hours、自学课程(面向初学者的课程涵盖构建简单机器人、应用物理属性、集成高级传感器以及排查常见问题)以及学习库。
- 社区支持:可通过加入 NVIDIA 论坛与 Isaac Sim 社区互动,获取故障排查解答或提问。
适用场景
- 机器人与具身智能的设计、仿真、测试与训练。
- 合成数据生成,用于训练 AI 模型,缓解数据瓶颈(官方还提供 NVIDIA Physical AI Open Datasets,已在 Hugging Face 免费开放)。
- 智能工厂、仓库与工业设施数字孪生,用于工业资产与流程的设计、仿真和优化;以及多机器人车队仿真(Mega NVIDIA Omniverse Blueprint)。
- 结合 Isaac Lab 进行规模化机器人学习;结合 Isaac TeleOp 在真实世界与仿真中采集高质量演示,用于在 Isaac Sim 和 Isaac Lab 中训练、测试与评估机器人策略。
- 结合 NVIDIA Cosmos 平台(包含前沿生成式世界基础模型与视频处理管线)加速物理 AI 系统开发。
- 通过 NuRec 的基于 3D 高斯泼溅的渲染,将真实世界传感器数据转为可交互仿真。
限制与说明
- 系统要求与兼容性需在安装前确认,官方文档提供相关说明。
- 若 ISV 要通过 Omniverse Kit 将 Isaac Sim 集成到软件方案中,分发 Omniverse Kit 需与 NVIDIA 单独签订许可,可通过 Omniverse Enterprise 订阅获得,该许可授予在您的产品中将 Omniverse Kit 作为 Isaac Sim 一部分进行再分发、再许可和支持的权利。
- 在 AWS EC2 上部署 Isaac Sim 用于开发和研究虽免费,但仍需支付 AWS EC2 相关服务与费用。
- 关于具体收费、价格、平台覆盖范围、性能效果等未在资料中明确提供的信息,暂未提供。