SuperAPI AI 工具集

dataset-generator

数据与分析

查看项目

更新于 10-15 17:26

技能介绍

用途:为 Codex、Antigravity、Claude Code 构建训练数据集流水线,覆盖生成、采集、规范化、验证、去重与导出。它使用 IDE 自带工具浏览、读取、搜索和推理,用本地 Python 脚本做确定性处理,不调用外部 LLM 提供商 API。

主要能力:命令面包括 dataset generate、collect、verify、audit、export。generate 未指定数量时默认 500 条;collect 未指定 --max-results 时默认每查询 10 条。内部使用固定 canonical schema,导出 schema 按用户需求选择,自定义 CSV 或扁平 JSONL 表头需创建 schema 文件并传给 scripts/export.py。

使用方式:生成时先读 sub-skills/dataset-strategy.md,确定请求类型、task_type、source_type、目标导出 schema 与目标有效条数,并判断新跑还是续跑。可用 SQLite 状态检查已有运行。来源路线包括主题合成、URL/参考资料结构化、已有数据集重构、互联网研究。批量导入可用 scripts/build_loop.py,手动导入用 scripts/generate.py,随后用 verify.py、dedup.py、export.py 处理。验证支持启发式与语义评审,评审后可用 judge_insights.py 聚类失败原因。

适用场景:生成医疗分诊、客服、金融 FAQ 等数据集;把 URL 或 CSV 转为结构化数据;构建红队、安全、提示注入等对抗语料;按覆盖计划控制分组平衡、来源与响应结构。

限制:不调用外部 LLM API;元数据变体仅为脚手架,需重写后才能通过验证;原始采集块不是有效训练样本;高级覆盖规则默认仅提示,需 blocking: true 才阻断;未提供具体价格、平台支持范围或效果数据。