SuperAPI AI 工具集

tao-convert-dataset-format

数据与分析

查看项目

更新于 10-16 04:34

技能介绍

用途:该技能通过命令行工具 tao-daft convert,把 DAFT 数据集(或包含多个数据集的父目录)从一种受支持格式转换为另一种,例如为 VLM 训练打包 DAFT 问答、摘要或时序任务数据,或生成 meta.json 风格的训练集。仅针对 DAFT 数据,不处理 COCO、YOLO、Data Factory JSONL 等非 DAFT 格式。

主要能力:先确认安装与版本,再通过多级 --help 发现当前版本支持的源格式、目标格式以及各格式对专属参数,随后执行转换并解读输出。转换本身由 CLI 完成,技能负责选择正确的源/目标组合与参数。

使用方式:确认已安装 nvidia-tao-daft(仅 wheel,非源码仓库),可用 python -c "import nvidia_tao_daft" 检查,缺失时安装命令为 pip install nvidia-tao-daft,并用 tao-daft --version 确认。快速用法:tao-daft convert <source-format> <target-format> --path <input> --output <output>。源与目标是位置参数子命令,格式 slug 为小写、点分隔且带版本(如 metropolis-v3.0、cosmos-reason-v1.0);--path 与 --output 是必需标志,不能按位置传入。--path 可接受单个场景或父目录,转换器会遍历目录树。运行前建议依次执行 tao-daft --version、tao-daft convert --help、tao-daft convert <source-format> --help、tao-daft convert <source-format> <target-format> --help。

适用场景:将 DAFT 数据集转换为 VLM 训练所需格式,或生成某一目标格式的训练集。

限制:仅支持 DAFT 支持的源格式;受支持格式对取决于所安装版本 --help 的输出,不要传入未确认的组合;源与目标为位置参数,--path 与 --output 为标志;该技能只负责 convert,validate 与 info 另属其他技能;不要用 Python 重新实现转换逻辑,应以 CLI 为准。若无法推断源格式或未指定目标,应先询问。转换完成后,建议先用 tao-validate-dataset-format 技能抽查输出,再用于训练。常见问题:command not found 表示未装 wheel;提示 --path/--output 必需说明参数按位置传入;invalid choice 表示该 slug 在当前版本未接入;输出被 validate 拒绝时,应检查每对格式的专属标志(如媒体处理、任务子集),参数设置错误常导致结构有效但语义错误的目标数据。