SuperAPI AI 工具集

action-and-event-data-generation

数据与分析

查看项目

更新于 10-15 22:38

技能介绍

用途:作为 Isaac Sim 合成数据生成(SDG)的入口,把涉及人物与机器人行为、物理事件与事故(泼洒、火灾、倾倒)、程序化摆放或装箱物体、相机覆盖与场景描述,以及相应真值标注的请求,路由到正确的动作与事件数据生成(AEDG)子技能,并携带各子技能共同依赖的上下文:启动器、扩展栈、环境变量约定与阶段组合顺序。

主要能力:本身只做路由与共享上下文供给,不直接运行仿真;具体工作流由子技能承担。涉及八个扩展:Actor Simulation and SDG(IRA)、Object Simulation and SDG(IRO)、Physical Space Event Generation(IRI)、VLM Scene Captioning(IRC)、RTX Sensor Placement(ISP)、RTX Sensor Calibration(ISC)、Behavior Tree Generation、Animated Robot Controller(IAR),共享底座为 omni.metropolis.pipeline 与 omni.metropolis.utils。阶段组合顺序为:物体仿真定义静态场景,事件与角色加入动态,随后传感器与描述捕获;IRA 可在自身配置中放置相机,此时无需单独使用 ISP,但 ISC 校准始终独立。

使用方式:需 Isaac Sim 的 AEDG 应用,从构建根目录运行 ./isaac-sim.action_and_event_data_generation.sh;面板出现在 Tools 菜单下。部分子技能通过 python_server 套接字驱动运行实例,需加 --enable isaacsim.code_editor.python_server。无头配置驱动运行使用 ./python.sh tools/actor_sdg/actor_sdg.py --config_file my_scene.yaml --allow-trusted-scripts,运行前须说明配置与引用资产(含 USD 层与脚本)可以用户权限执行 Python,并取得明确确认,不得自动添加该参数。

限制:需要 NVIDIA GPU 与较新驱动;离线配置生成器不需要 GPU 或仿真器。$NVIDIA_API_KEY 仅用于 LLM 相关功能(描述生成、行为树生成),仅生成场景图无需密钥。各扩展的配置版本规则不同且不可互换,须从已安装构建推导,不可硬编码或照抄示例。配置以 yaml.safe_load 读取,$VAR 不会在 YAML 内展开,需在 shell 中先替换。运行耗时随时长、帧率、相机数量与渲染模式增长,路径追踪远慢于光栅化;冷启动首帧有一次着色器编译。NIM 额度会被描述与行为树生成消耗。