SuperAPI AI 工具集

04-ai-eval-harness-spec

测试与质量

查看项目

更新于 10-16 03:40

技能介绍

用途:依据已批准的项目证据,产出或更新 AI 评估规范,明确代表性数据集、评估器、阈值、校准、回归门禁与证据,形成可评审的交接物。

主要能力:按 AI 功能清点评估套件(黄金集、对抗/红队集、评判 LLM 评分标准、校准集);构建黄金集(来源可为生产流量快照、设计伙伴样本或专家撰写,需标注标注者、类别平衡与版本);选择指标与阈值(如通过率≥90%、事实性≥0.92、引用率≥0.90、引用准确率≥0.95、弃答精确率≥0.80、弃答召回率≥0.70、毒性/安全违规率为 0、延迟 P95 与单次成本按条款);规定评判 LLM 模式(与被测模型不同、评分标准简短离散、成对评判、对人工标签校准);定义 CI 门禁(黄金集回归下降超过 N 个百分点,典型 N=2pp,或安全指标非零则不可合并);安排定时回归(每晚黄金集、每周全红队,分数下降触发 SEV3);A/B 提示评估;运营归属与版本追踪。

使用方式:确认交付物、消费者、范围、环境与权限;清点并校验来源;提取可追溯需求与可测验收标准;按决策规则起草规范、决策登记与证据记录;运行可用检查并仅在验收可观察时交接。输出文档 AI_Eval_Harness_Spec.md 含九个章节。

适用场景:AI 功能评估规范制定、发布前评估证据准备、回归门禁设计。

限制:默认只读;仅在明确授权时创建或编辑指定文档;生产变更、发布、认证声明需单独授权。缺少必需来源或权限时停在缺口登记,不得编造范围、阈值或负责人;不可运行的检查标记为未评估,不得记为通过。参考标准包括 OpenAI Evals、promptfoo/Anthropic 评估指南、NIST AI RMF MEASURE、ISO/IEC 42001 第 9 条。