SuperAPI AI 工具集

krt-skill-arbiter

测试与质量

查看项目

更新于 10-15 21:38

技能介绍

用途:评估 KRT 技能组合的行为表现,用确定性校验与人工监督评分替代不透明的自动评判。

主要能力:

  • 确定性语料检查:对 references/cases.json 与 references/expectations.json 运行 scripts/check_corpus.py,并在结果中保留语料版本与摘要。
  • 监督评分:每个观察到的用例由监督者记录恰好一个 pass、fail 或 inconclusive 结果,证据保存在状态字段之外。
  • 评分聚合:运行 scripts/score_run.py <results.json> 校验语料身份并汇总判断,不把 inconclusive 转成 pass 或 fail。
  • 组合校验:新增或修改技能后运行 scripts/check_portfolio.py --repo-root <repo>。

使用方式:处理提示、输出、轨迹或工具日志前先加载 references/safety.md;准备或评分运行前加载 references/evaluation-contract.md;将 references/portfolio.json 视为每个 KRT 技能的显式清单与安全分类。路由用例交给被评估运行时时不提供预期技能,能力用例则带上声明的目标技能;在运行时响应完成前隐藏预期行为。

输出报告:语料版本与覆盖率、pass/fail/inconclusive 计数、确定性通过率、按评估类别分组的失败、组合契约错误、评估器局限与证据位置。

限制:捆绑脚本仅作确定性校验与聚合,不调用模型、不执行用例内容、不判断响应是否正确。不能仅凭一次运行声称改进,需比较同类语料版本,并在评分产物之外记录运行时/模型上下文。