用途:为 AI 功能建立质量保障体系,覆盖评估标准定义、输出质量衡量、AI-as-judge、生产监控、漂移检测与用户反馈闭环。核心原则是评估驱动开发,先定义“好”的标准再构建。
主要能力:定义评估契约(任务定义、业务指标、质量指标、系统指标、安全指标、发布阈值、回滚触发条件);按格式、事实准确性、安全性、指令遵循、相关性、成本、延迟等维度评估;设计评估数据集(开发、发布门禁、对抗测试、生产监控分开);建立发布门禁(提示/模型变更、新工具/动作、RAG/索引变更、微调、生产上线);创建黄金测试集;运行无 LLM 成本的自动化评估;使用 AI-as-judge;生产监控指标与告警阈值;漂移检测;收集用户反馈信号。
使用方式:先读 SKILL.md,再按需加载引用的深入文件;按有序指引、检查清单和决策规则执行,而非挑选孤立片段;产出交付物时明确假设、风险和后续工作。评估工作流:构建前定义标准、创建黄金测试集(20–50 个带预期输出的示例)、每次新模型/提示版本运行自动格式检查、运行 AI-as-judge 质量检查、与上一版本比较、监控生产、检测到漂移时重新训练/重写提示。
适用场景:为 AI 功能设置质量保障、衡量输出质量、使用 AI 作为评判者、监控生产 AI、检测漂移、构建用户反馈闭环。
限制:不适用于与 ai-evaluation 无关的任务,或更适合由更具体的配套技能处理的任务;仅需简单答案且本技能约束或参考无实质帮助时也不适用。需要收集相关项目上下文、约束和具体问题,并确认期望交付物。评估 harness 作为多租户 SaaS 控制平面服务的工程实现位于 ai-eval-harness。
反模式:把示例当作可直接复制的真理而不检查适配性、约束或失败模式;默认加载所有参考文件而非渐进式披露;没有黄金测试集;只测平均延迟;跳过评估以更快发布;没有提示版本管理;评判者与被评估者使用同一模型;没有用户反馈机制。