用途:在已发布 goldset 后,把评测标准转为可执行代码,覆盖 PromptFoo 与 DeepEval 两种框架。
主要能力:读取 evals/{system}/goldset.json,将 pass_condition、fail_condition 及通过/失败示例映射为评分逻辑;为 PromptFoo 生成 Python 评分函数(evals/{system}/graders/check_.py),为 DeepEval 生成继承 BaseMetric 的自定义指标类;生成匹配单元测试(evals/{system}/tests/test_check_.py);生成含 Tier 1 + Tier 2 结构的 config.js 或 config.py;最后自动移交给 /evals-validate。评分器严格返回 1.0 或 0.0。
使用方式:通过 /evals-implement 调用,可传 --system 指定 promptfoo 或 deepeval,--no-tests 跳过单元测试生成(不推荐)。执行中包含评分器自校准:运行 pytest evals/{system}/tests/,失败时自动调整提示词、正则或阈值,最多迭代 3 次;holdout.json 保持隔离;3 次内未达到 100% 训练准确率则报错并展示失败用例。
适用场景:goldset 通过 /evals-clarify 确认后;新增标准后重建评测套件;为评分器补充单元测试。不适用于 goldset 未发布,或仅执行评测(应使用 /evals-validate)。