SuperAPI AI 工具集

behavior-tree-generation

智能体与模型

查看项目

更新于 10-15 22:38

技能介绍

用途:把自然语言场景描述交给 LLM 规划器,生成行为树文件。它是 Isaac Sim「Action and Event Data Generation」功能的子技能,由 omni.ai.behavior_tree_gen.core(脚本化管线与 API)和 omni.ai.behavior_tree_gen.bridge(Kit UI)组成。注意它与 Actor SDG(isaacsim.replicator.agent)配置中手工编写的 behavior_tree JSON 不同,本技能负责生成树,其输出可为后者提供种子。

主要能力:通过 UI 或脚本化 API 完成从场景文本到行为树的生成;UI 路径为启用 omni.ai.behavior_tree_gen.bridge,打开 Tools > Behavior Tree Gen,可加载内置 Basic Scene 或 Warehouse Scene 示例,确认上下文缓存文件、网络配置与输出目录后,在 Planner 面板输入场景文本并点击 Run Pipeline。

使用方式(脚本化 API):三个公开调用必须按固定顺序执行——setup_workspace()(同步)→ prepare_runtime()(异步,须返回 success=True)→ generate_behavior_tree()(异步)。输出写入 $WORKSPACE_DIR/bt,缓存写入派生目录。必要输入包括场景文本、可写输出目录、NVIDIA API key、actor/object 上下文 JSON、节点目录 JSON 与元数据 schema。可用 scripts/starter_context.py 生成起始上下文与 schema,例如 python3 scripts/starter_context.py --entity object --id Table > table_context.json。

适用场景:需要由文本快速生成行为树、并希望复用缓存与 RAG 的 Isaac Sim 工作流。

限制:需要有效 NVIDIA API key,prepare_runtime() 不会回退到本地模型;调用顺序严格;内置示例动作(如 MoveTo)为过渡性质,可能表现异常;修改被跟踪的输入文件后需重新加载工作区。其余细节暂未提供。