SuperAPI AI 工具集

isaac-sim-workflow

智能体与模型

查看项目

更新于 10-15 22:38

技能介绍

用途:把 Isaac Sim 演示请求转化为实现契约,负责范围界定、验收标准、证据要求与交接;多技能有序执行由 isaac-sim-orchestrator 负责,具体实现交给对应技术技能。

前置条件:已构建 Isaac Sim($ISAAC_SIM_DIR 或 _build/linux-x86_64/release);NVIDIA GPU 与较新驱动(nvidia-smi);来自 isaac-sim-orchestrator 的 shell 环境变量 $ISAAC_SIM_DIR、$ISAAC_LAB_DIR、$WORKSPACE_DIR。

主要能力:先分类交付物——演示捕获(视频、静帧、合作方评审、展示)、技术参考(可运行教程、API 工作流、自主行为)、混合型(先通过技术门禁再打包演示级捕获)。定义验收标准:主体、主张、输出产物、成功条件、约束。澄清问题为可选,仅在用户明确要求提问、先规划或先达成共识时进行,一次一问,最后复述验收标准、假设与计划产物。

完整性规则:不得把瞬移、运动学、写姿态或脚本化运动呈现为控制器驱动的自主或物理交互;若主张涉及接触、碰撞、导航、操作、感知或动力学,须启用相应仿真行为并用运行证据验证;非物理动画仅在明确说明为示意时可用,并在交接中说明。调试可视化需用户同意,用户拒绝时须省略。

工作实践:有运行中的仿真时用 isaac-sim-remote 做实时 Python 服务器迭代,仅在需要交接时创建独立脚本,除非测试独立脚本否则避免 python.sh;先搜索现有 Isaac Sim、Nucleus、SimReady、材质、环境和示例场景资产;场景复杂度不超过验收所需;从实际运行捕获新截图或视频,检查起始、中间、结束帧是否有黑帧、缺资产、构图差、比例不可读、遮挡和行为不符;交接时附假设与通过/失败证据;对视频和保存资产做版本管理。

路由:整体构建阶段用 isaac-sim-orchestrator;场景合成与 USD 结构用 usd-pipeline、usd-composition-architecture;移动或轮式导航用 navigation-primitives、isaac-sim-robot-navigation;机械臂操作与避障运动用 motion-generation、manipulation-ik;物理、刚体、碰撞、材质用 physics-simulation;传感器与相机用 isaac-sim-sensor、isaac-camera;渲染、相机布置、视频捕获用 isaac-sim-rendering;实时 Python 服务器执行用 isaac-sim-remote;输出验证用 isaac-sim-validator。

限制:面向 Isaac Sim 6 / Kit 110,除非某节另有说明;不替代 NVIDIA 官方文档处理不支持的边缘情况。故障排查:扩展或导入未找到,检查 $ISAAC_SIM_DIR 或重新构建;黑帧或空帧,添加穹顶/主光并确认 RTX / PathTracing 设置;阶段加载或首次渲染卡住,按 isaac-sim-troubleshooting 的隔离步骤处理。