用途:为特定目标任务(数学、代码、金融、医疗等)微调或适配 LLM 时,自动设计数据配方——即由过滤、合成、混合、增强等步骤组成的可执行 Python 流水线,把原始数据源转换为优化后的训练语料,替代人工试错式数据整理。
主要能力:将数据配方表示为可执行流水线;用基于评分标准的 Data Verifier 代理评估(Invalid/Incorrect 0、Task Mismatch 0.4、Pass 1.0)快速筛选候选配方;通过 GRPO 强化学习迭代优化配方生成策略;支持去重、长度与质量过滤、LLM 合成增强、加权混合与相关性筛选。
使用方式:先明确目标任务与评测基准,列出可用数据源及元数据,评估源与任务相关性,再依次设计过滤、合成、混合阶段,写成单一 Python 脚本串联各阶段并校验输出格式;随后抽样 50-100 条做代理评分,生成 4-8 个配方变体择优,最后用真实微调与基准评测做端到端验证。
适用场景:领域适配(如数学竞赛题、金融问答)、多源数据清洗与混合、合成补充训练样本、训练前数据质量快速评估。
限制:代理分数不能完全替代真实训练评测;合成阶段依赖 LLM API,有成本与延迟;配方质量受源数据池限制;需要目标任务的少量示例来构建评分标准;不适用于大规模预训练数据整理。