SuperAPI AI 工具集

llm-golden-dataset-builder

数据与分析

查看项目

更新于 10-16 06:22

技能介绍

用途:帮助开发者从生产日志中构建黄金数据集(golden dataset),即一组经过人工确认的输入/输出样本,代表期望的良好行为,作为回归测试的基准。它是评估工作流 7 步中的第 6 步,上一步为 llm-judge-alignment,下一步为 llm-regression-runner。

主要能力:以代码智能体方式运行,先搜索项目中的日志、追踪、评估结果、已有数据集、评判提示词与上下文文件,再筛选候选样本。筛选逻辑为:全部评估通过的为主要候选,仅一项未通过的为次要候选,多项失败的排除。随后检查覆盖度,包括常见查询、边缘案例、已知已修复失败、低频高风险场景,并输出覆盖摘要。

使用方式:候选样本按每批 5–10 条呈现给开发者确认,未经明确批准不写入数据集。确认后保存为 JSONL(每条一行,适合大数据集)或 JSON 数组(适合 50 条以内),字段含 id、input、output、evals_passed、label、added。若已存在数据集则追加而非覆盖,保留原有条目与 ID,文件默认名为 golden-dataset.jsonl 或 golden-dataset.json。

适用场景:已有生产流量与评估结果、需要为提示词变更建立回归测试基准的团队。

限制:若日志未附带评估分数,需先运行评估;若无日志,可用合成输入引导,但应尽快替换为真实追踪。候选少于 20 条时会提示数据集可靠性不足。评估通过是必要条件但非充分条件,每条都需人工确认。建议逐步扩充至 50–100 条,并在每次提示词变更前运行回归测试。资料未提供具体安装命令、收费或平台信息。