SuperAPI AI 工具集

trace-to-training-data

数据与分析

查看项目

更新于 10-16 07:22

技能介绍

用途:在评估框架已完成评分后,把已评分的轨迹(eval/goldens.jsonl 与 runs/<run-id>/results.json)机械地转换为训练数据行——SFT messages 行或 DPO prompt/chosen/rejected 偏好对,输出格式与 dataset-curation 的格式选择表一致,可直接作为其输入,无需再整形。

主要能力:SFT 方面,保留成功轨迹中奖励最高的部分而非全部通过轨迹;人工修正的失败轨迹可直接作为金标 SFT 样本;多步轨迹采用步级掩码而非整条丢弃。偏好对方面,只从同一任务的通过与失败轨迹构建配对,拒绝项按 μ−2σ 选取,并按评委分差筛选高信号子集。卫生方面,扫描并脱敏密钥与 PII,敏感内容残留则丢弃该行;评估金标 ID 必须排除在训练数据外;对已有训练数据去重;每行保留 run_id 与 trace_id 溯源信息写入数据集卡。

使用方式与限制:转换前必须先有评分结果,未评分的轨迹需退回 eval-harness-first,不应在此手工标注。所需命令和具体转换配方见 references/conversion-recipes.md,本资料未提供安装命令与价格信息,暂未提供。