SuperAPI AI 工具集

benchmark-isaacsim

测试与质量

查看项目

更新于 10-16 14:37

技能介绍

用途:运行 Isaac Sim 基准脚本并解读基准输出,涵盖相机、合成数据生成(SDG)、场景加载、机器人、激光雷达/雷达/传感器等脚本。

运行前提:参数可能过时,运行前用 ./python.sh <script> --help 核对。安装参见 install-isaacsim;性能分析细节(Tracy、Nsight)参见 profiling 技能。正式 FPS/帧时间用 WARM 运行;CPU governor 设为 performance;使用 Nucleus 资产需配置 Nucleus 认证。默认不要修补 Isaac Sim 关闭流程。

主要脚本(位于 standalone_examples/benchmarks/,用 ./python.sh <script> [args] 运行):benchmark_camera.py 测多相机渲染 FPS(--num-cameras、--resolution W H);benchmark_sdg.py 测合成数据吞吐(--num-cameras、--annotators、--asset-count);benchmark_scene_loading.py 测场景加载时间与 FPS(--env-url 必填);机器人脚本含 o3dyn、humanoid、nova_carter、nova_carter_ros2、evobot、ur10;benchmark_core_world.py 测核心世界克隆(--num-envs);传感器脚本含 rtx_lidar、physx_lidar、rtx_radar、single_view_depth_sensor、rtx_lidar_ros2_pcl_metadata;benchmark_nucleus_kpis.py 测 Nucleus KPI。

公共参数:--num-frames(默认 600)、--num-gpus、--backend-type、--viewport-updates、--non-headless。输出控制 Kit 参数:--/exts/isaacsim.benchmark.services/metrics/metrics_output_folder=<output_dir>、--/log/file=<output_dir>/kit.log。

关键坑:参数名用连字符而非下划线,下划线会被 argparse 静默忽略(如 --num_cameras 8 会静默用默认值 1),务必核对结果 JSON。比较输出需记录是否使用 --non-headless、--viewport-updates、render products 或相机传感器。JWT 令牌过期会导致静默黑屏渲染。carb.log_warn() 不进 stdout,应轮询结果 JSON 文件;Kit 日志位于 ~/.nvidia-omniverse/logs/Kit/isaacsim*/kit.log。若 kpis_*.json 和 *.tracy 已存在且非空但进程两分钟未退出,按 profiling 技能处理并强杀。

优化交接:若结果指示每相机视口开销、过多 render products、headless 默认视口工作或多 GPU 扩展差,不要在此修复,应汇总证据并交由 perf-tuning 处理。

输出文件:kpis_benchmark_<name>.json 为主要结果,kit.log 为执行日志,*.tracy 与 .nsys-rep 仅在启用相应分析时产生;v5.x/v6.x 默认不生成 benchmark_result.json 和 startup_.json。