SuperAPI AI 工具集

fine-tuning-data-generator

智能体与模型

查看项目

更新于 10-16 00:06

技能介绍

用途:生成 ChatML 格式(JSONL)合成微调数据集,供 Unsloth、Axolotl 及类似训练框架使用,涵盖从需求收集到框架接入的流程。

主要能力:按阶段推进——先澄清任务定义、领域、样本量、质量与多样性、数据集组成;再给出生成计划(类别分布、主题、多样性策略、系统提示方式、质量保证);随后生成符合 ChatML 的示例,覆盖真实场景、多轮对话、边界与错误情形;最后校验并记录数据集。

格式:每个样本为含 messages 数组的 JSON 对象,角色可为 system、user、assistant;可添加多轮 user/assistant 消息对。

工具:仓库 scripts 下提供 validate_chatml.py 与 analyze_dataset.py。校验示例:python scripts/validate_chatml.py training_data.jsonl(可加 --verbose);分析示例:python scripts/analyze_dataset.py training_data.jsonl(可加 --export stats.json)。输出文件通常包括 training_data.jsonl、validation_data.jsonl、dataset_info.txt。

适用场景:需要为聊天模型微调准备合成对话数据,需控制主题分布、难度与多轮结构,并要在训练前检查格式与多样性。

限制:资料未提供实际生成模型、API、收费或价格信息;数据集规模建议仅作参考。需注意重复模板、不真实提问、覆盖过窄、JSON 格式错误等问题,并建议先在训练框架中测试。版本标注为 2.0,更新于 2024。