SuperAPI AI 工具集

rerun-dataset-conversion

数据与分析

查看项目

更新于 10-16 09:50

技能介绍

用途:指导把多模态机器人数据集转换为分层 Rerun 录像(.rrd),产出可注册到目录的数据集。适用于 MCAP、HDF5、LeRobot、parquet、原始视频等来源。

主要能力:给出高层工作流——调研来源、构建层、设计默认蓝图、注册目录、验证结果;并为每个阶段提供 DOs 与 DON'Ts。技能本身只承载原则和决策点,具体 Rerun 机制路由给 rerun-data-model、rerun-chunk-processing、rerun-mcap / rerun-parquet / rerun-lerobot / rerun-urdf / rerun-mp4、rerun-blueprint、rerun-catalog-queries 等技能。术语包括 episode、recording id、layer、base layer、segment、property、census、survey。

使用方式: Step 0 收集数据集卡、格式、模态、上下文与论文等信息;Step 1 向用户确认最大样本量,编写带缓存的下载脚本,随机抽取不同任务与会话的样本;Step 2 调研样本,统计 FPS、图像尺寸与格式、缺失主题、无效值、元数据一致性等多样性,写成 markdown 供用户审阅,并暂停等待用户复核;Step 3 设计 base 层映射,规划属性与可选传感器数据拆分为独立层,在写转换代码前请用户确认映射、属性与分层;Step 4 加往返测试验证无损,并对比源与 base 的文件大小;Step 5 编写初始蓝图并检查查看器性能与标签正确性;Step 6(可选)按外部数据或派生数据新增层并更新蓝图;Step 7 提供查看、注册与查询脚本或说明。

原则:转换必须无损,字节级信息需能通过往返测试重建源数据;便于使用与维护,转换的目的是使用而非归档;保持高效,使用正确的工具避免静默丢数据。数据映射默认反射读取器输出,仅当语义完全匹配或可视化关键时才转内置 archetype;优先可查询的结构,能用 Arrow 序列化即可记录;只做无损格式变换,保留名称、单位、坐标系与源类型名。无法解码的通道须做 census 并保留原始字节,不能静默跳过,需在属性中标记该 episode。属性用于段级可筛选元数据,如时长、任务名、场景类型、split、is_<validity>、has_<attribute>、census;属性类型在各 episode 间须一致,用 Chunk.from_property 构建。分层方面,一个 episode 一个 base 层足够;时间上分离的录像、依赖外部资源(如 URDF)或派生数据应写为独立层。先读 references/post-processing.md 再派生层,references/registering.md 含查看命令与注册模板。

限制:每个数据集独特,无法给出通用准则;技能不重复 Rerun 机制细节,应转读相应 rerun-* 技能;转换项目中约定应写在项目自身文档;具体费用、平台与定价信息暂未提供。