SuperAPI AI 工具集

llm-regression-runner

智能体与模型

查看项目

更新于 10-15 23:49

技能介绍

用途:这是评测工作流的最后一步,在提示词变更、换模型或调整系统指令后,回答质量是提升、持平还是变差,作为上线前的门禁。

主要能力:自动在项目中查找黄金数据集、评判提示或评测脚本、基线结果文件、待测提示词及上下文文件;逐条运行当前提示词并用程序化规则或 LLM 评判器打分;与基线逐条对比,分为回退、改进、持续通过、已知失败四类;输出回归报告并给出部署建议。

使用方式:作为代码智能体运行,先搜索项目文件再向开发者索要缺失项。无黄金数据集时停止并建议先构建;无评判器时可退化为用标注评分标准做基础评测。无基线时为首轮运行,结果保存为基线,不做对比;有基线时做对比。数据集少于 10 条会提示结果仅具方向性。报告含各状态计数、回退与改进明细,以及部署建议:有回退则不建议部署,有改进无回退则建议带监控部署,全部持平则建议部署。确认后把结果保存为 eval-baseline.json。

适用场景:提示词迭代、模型替换、系统指令调整前的离线回归验证。

限制:离线评测只是门禁而非保证,无法覆盖数据集外的情况;回退是唯一硬性停止信号;更新基线需显式确认;数据集过小信号弱,且会随时间过时。具体评判器配置、运行环境与依赖暂未提供。