用途:维护“黄金集”(golden set)——即 20-50 个最关键、一旦失败就说明重要功能损坏的评测用例,在每次 PR 上运行。适用于全量评测超过 10 分钟、需要快速冒烟检查、需要稳定参考“系统必须始终做到什么”,以及安全关键输出的场景。
主要能力:给出入选标准(代表核心用例、期望输出明确可判定、曾至少回归一次、具备区分度),并列出应拒绝的项(锦上添花、依赖时间/状态的 flaky 用例、所有候选模型都 100% 通过的项、真实用户不会提交的项)。给出规模建议:冒烟黄金集 20-30 项、2 分钟内跑完;核心黄金集 50-100 项、10 分钟内跑完;超过 100 项应归为回归集。还提供策划流程(PR 提议并附理由、2 名评审确认标签清晰、标签稳定性、至少一种模型/提示配置应失败)、评审节奏(每月审计新增项、每季度淘汰连续 6 个月 100% 通过的项、事故后补加用例)、淘汰标准与归档方式,以及黄金集与回归集、全量评测的区分。
使用方式:用例格式为 JSON,含 id、description、input、expected(contains/not_contains)、stratum、added、reason、severity 字段,每项可追溯到“为何是黄金项”。CI 示例为 GitHub Actions 工作流,运行 npm ci 与 npm run eval:golden,超时 5 分钟,任一黄金项失败即阻塞 PR。失败处理流程:本地在 main 复现、判断是输出错还是期望错、修 bug 或经第二名评审批准并附理由更新用例、flaky 项移入回归集,不得无跟踪地临时禁用。
限制:资料未提供具体安装命令、依赖版本、支持的模型或平台、收费与价格信息;示例中的 npm 脚本名与工作流仅为资料给出的写法,实际需按项目配置。