SuperAPI AI 工具集

wikieval

通用与其它

查看项目

更新于 10-15 22:33

技能介绍

用途:把 wiki 黄金页面变成回归套件,用纯代码(不依赖模型)校验,配合已提交基线和 CI 退出码,使 agent 或 PR 无法悄悄破坏页面。触发场景包括用户说 wikieval、为 wiki 建立评估套件、goldens 回归门禁、断言级联、指标下降时阻断 CI,或调用 /wikieval。

主要能力:采用廉价→昂贵的断言级联。tier 1 为确定性断言,支持 equals、contains、icontains、not-contains、regex、is-json、is-sql-ish,作用于候选输出;若 golden 声明 asserts,仅由 tier 1 决定通过与否,未知操作按失败关闭。tier 2 相似度仅在 golden 无 asserts 时触发,未配置 embedding.backend 则跳过并标注;difflib 为离线词法比较。tier 3 为 LLM rubric 判断,确定性模式下从不调用,被升级的 golden 报告为 needs-judge。

使用方式:goldens 是 llmwiki/wiki/sources/evals/ 下的 Markdown,YAML frontmatter 含 input、expected,可选 rubric、asserts、id。运行示例:python3 harness/scripts/wikieval.py --outputs harness/evals/wikieval-outputs.example.json;写入基线:--write-baseline;CI 门禁:--check,指标跌破基线时退出码 2 并给出回归差异。基线文件为 harness/metrics/eval-baseline.json,适配器配置为 harness/wikieval.config.yaml。

适用场景:需要黄金页面作为回归套件、无需模型即可运行候选输出校验、以及仅在指标下降时阻断 CI 的流程。

限制:从不调用 LLM(tier 3 只报告 needs-judge);不生成候选输出(需通过 --outputs 提供);不代写 goldens 内容;缺少或无效 --outputs 时无法运行;--check 前需先写入基线。适配器(judge 模型、rubric 提示、embedding 后端)标记为 verified: false,落地时只需修改 harness/wikieval.config.yaml 和 judge() 一个文件。