用途:从已加载场景生成图像+字幕对和场景图,用于训练视觉语言模型(VLM)。它是 Isaac Sim「Action and Event Data Generation」功能的子技能,对应 isaacsim.replicator.caption.core 扩展,本身不进行仿真。
主要能力:先基于 3D 真值构建场景图(节点为物体,边为空间关系,形成以地板为根的 Support Tree),再调用 NVIDIA NIM LLM 生成字幕,包括 brief(简短描述)、global(整体场景描述,UI 中标注为 Full Caption)、QA(问答对)。输出场景图(完整/剪枝)与字幕文件。
使用方式:三种途径。一、UI 面板:启用扩展后打开 Tools > Action and Event Data Generation > VLM Scene Captioning,加载 stage USD,输入 API key,选择字幕级别,设置相机与输出路径后生成。二、Python CaptionAPI:设置模型参数、检查模型可用性、加载配置,并必须通过 ReplicatorCaptionSettings 设置相机与输出路径,再异步调用 get_captions()。三、作为其他 SDG 运行的逐帧写入器:在 Actor SDG 中加入 SceneGraphWriter,或在 Object SDG 中配置 caption_writer 与 output_switches.caption。
环境要求:已安装 Isaac Sim 及对应应用,需 $ISAAC_SIM_DIR、$WORKSPACE_DIR,生成字幕需 $NVIDIA_API_KEY(仅导出场景图不需要)。
限制:字幕依赖 NVIDIA_API_KEY,NIM 额度有限且会过期;独立配置的 version 必须与已安装扩展 settings.VERSION 完全一致(非 [package] 版本);load_config_file() 不应用 camera_prim_path/output_path,需另行设置;无语义标签的 prim 不会被标注器捕获,也不会进入场景图;camera_prim_path 必须指向真实相机。输出应写入 $WORKSPACE_DIR。具体配置项与输出路径详见扩展参考文档。