SuperAPI AI 工具集

dataset-conversion

数据与分析

查看项目

更新于 10-16 09:50

技能介绍

用途:指导把多模态机器人数据集转换为分层的 Rerun 录制(.rrd),并整理为可注册进目录(catalog)的数据集。适用于数据集来源分散、格式各异、需要无损保留并方便查询与可视化的场景。\n\n主要能力:给出高层工作流——收集资料、获取样本、调研数据多样性、构建 base 层、转换校验、编写初始蓝图、按需富化、指导查看与注册。附带每阶段的 DO/DON'T,并约定术语:episode(源的自然录制单位)、recording id(同一 episode 各层共用)、layer(每 episode 一个 .rrd)、base layer(反映源、可独立使用)、segment(目录视角下的一个 episode)、property(按 episode 存储、目录中显示为列)、census(解码行数与源计数对比)、survey(先测量再写代码的阶段)。\n\n必要用法:按阶段阅读配套技能——建模前看 rerun-data-model,写转换代码前看 rerun-chunk-processing,按源格式看 rerun-mcap / rerun-parquet / rerun-lerobot / rerun-urdf / rerun-mp4,设计蓝图看 rerun-blueprint,注册与查询看 rerun-catalog-queries。流程要点:先向用户确认最大样本量并写带缓存与可选下载项的脚本,抽查多任务多会话样本;调研 FPS、图像尺寸格式、编解码、缺失主题、无效值、元数据一致性并产出 markdown 记录,暂停待用户审阅;设计映射时不要在转换代码里调用 to_chunks(),不要无理由 collect() 或把 struct 拆成逐字段 lens;用往返测试验证无损并对比源与 base 体积;蓝图迭代时检查查看器性能与标签正确性。注册相关命令与模板见 references/registering.md。\n\n限制:本技能只承载原则与决策点,不重复 Rerun 机制;转换项目自身约定应写在该项目文档中。是否拆分层无通用规则,需结合上述指引给出建议并由用户决定。未提供具体安装命令与版本信息。