用途
eval-report 用于在完成多次评估之后做一次综合性回顾。触发场景包括:已运行 2 个以上评估技能并希望看到全局图景;需要向非技术干系人汇报评估状态;需要为发布或不发布决策提供证据;评估系统运行一段时间后需要做健康检查。该技能是只读的,只分析已有内容,不创建新的评审器或数据集。
主要能力
技能以固定清单推进分析,每一步都必须建立任务并按顺序完成:
- 清单扫描:读取 eval-design.md 和所有 runs/ 目录,构建时间线,统计关键指标,包括运行过的技能数、原则数、标签数、已校准评审器数量(含 TPR/TNR 范围)以及各技能最近活动日期。
- 成熟度评估:在五个维度上评级——失败发现、评审质量、标签覆盖、安全覆盖、人类对齐,每个维度分 L1 到 L4 四级。总体成熟度取各维度中的最低值(最弱环节原则)。每个评级都必须引用 eval-design.md 中的具体证据,不能凭感觉打分。
- 跨技能信号综合:找出被多个技能共同确认的一致信号(高置信度);找出技能之间存在矛盾的发现(被视为最有价值的发现,可能揭示假设或方法上的结构性问题);找出尚未被任何技能覆盖的盲区。
- 弱点诊断:分析失败集中在哪里(通过率最低的原则/评审器),计算原则两两之间的 Jaccard 相似度以识别共享根因的高度相关对(Jaccard > 0.5),并按难度分层查看哪些层表现最差。
- 根因分类:将每个弱点区域归类为 system_problem(应用本身表现差,特征为低通过率加强的评审器与人类一致性)、metric_problem(评审器或评估方法有缺陷,特征为低通过率加弱一致性)、data_problem(评估数据集不具代表性,如覆盖薄弱或标签漂移)或 unclear(证据不足)。
- 优先级建议:生成 P0(阻断发布)/P1(本迭代重要)/P2(待办)行动,每条建议须包含优先级、具体行动、当前状态、目标状态、预期影响和应使用的技能。避免把所有建议都标为 P1。
- 执行摘要:为一页纸的干系人摘要,包含发布就绪判断、前三大风险(含严重程度与缓解措施)、评估成熟度现状与目标、以及本次迭代的下一步行动。
使用方式
技能会读取 eval-design.md 中的 eval_report 命名空间以及 runs/ 下的历史结果。每个被综合的单指标运行结果应形如 runs/<skill>/<ts>/results.json 中的一条记录,字段包括 metric、mean、ci_95、n、by_stratum(如 easy/boundary/adversarial)和 verdict(pass/fail/insufficient_evidence)。
产出文件包括:
- eval-design.md:eval_report 命名空间(成熟度、信号、趋势、行动)
- runs/eval-report/<ts>/report.md:完整分析报告
- runs/eval-report/<ts>/executive-summary.md:一页纸干系人摘要
适用场景
适合在多个评估技能已产出结果后进行阶段性总结、向管理层或非技术干系人汇报评估状态、为发布决策提供证据,或对评估系统本身做定期健康检查。
限制与注意事项
该技能是只读分析,不生成新的评审器或数据集。资料中列出的常见错误包括:给出建议却未做根因分类;凭感觉打成熟度分;执行摘要写得过长;忽略跨技能矛盾;把所有建议都标为 P1。资料明确给出成熟度评估各维度的 5 维 × 4 级评分标准,以及 Jaccard > 0.5、kappa ≥ 0.8、TPR/TNR 阈值等参考指标。该技能属于评估闭环的“末端分析”,在落实建议后可再次运行以跟踪进展。资料未提及收费、价格或平台要求等信息。