用途:Agent Evaluation 是一个 LLM-as-judge 评估框架,用于对 AI 生成内容做系统化质量验证。核心原则是:在声称任务完成之前先做质量核验。适用时机包括:标记任务完成前(配合 verification-before-completion)、生成计划后评估计划质量、代码评审输出后评估评审质量、反思周期中评估智能体响应、以及比较多个智能体输出。不适用场景:二元通过/失败检查(改用 verification-before-completion)、安全审计(改用 security-architect)、语法/lint 检查(改用 pnpm lint:fix)。
主要能力:对每次评估的 5 个维度按 1-5 分打分,并计算加权综合分。维度与权重为:Accuracy 准确度 30%(事实正确、无幻觉、断言可验证)、Groundedness 依据性 25%(断言有引用、文件引用或代码库证据支持)、Coherence 连贯性 15%(逻辑流畅、内部一致、无矛盾)、Completeness 完整性 20%(覆盖全部必需方面、无关键缺口)、Helpfulness 有用性 10%(可操作、给出具体下一步、减少歧义)。评分刻度:5 优秀、4 良好、3 尚可、2 较差、1 失败。
使用方式:先加载待评估输出(智能体响应、计划文档路径、代码评审输出、技能调用结果、任务完成声明等);逐维度给出分数、证据(直接引用或 file:line 引用)与理由;按公式计算加权综合分:composite = (accuracy × 0.30) + (groundedness × 0.25) + (completeness × 0.20) + (coherence × 0.15) + (helpfulness × 0.10),不得使用简单平均;再判定裁决:4.5-5.0 EXCELLENT(批准继续)、3.5-4.4 GOOD(批准并附小提示)、2.5-3.4 ADEQUATE(要求针对性改进)、1.5-2.4 POOR(拒绝,需大幅返工)、1.0-1.4 FAILING(拒绝,重启任务);最后按固定结构输出裁决,包含评分表、证据引用与所需行动。示例调用为 Skill({ skill: 'agent-evaluation' })。
限制与铁律:综合分低于 2.5(POOR 或 FAILING)时必须返工后再标记任务完成;必须评估全部 5 个维度;每个维度必须引用具体证据;必须使用加权综合分;不要在作品未完成时评估。使用该技能的智能体包括 qa(主)、code-reviewer、reflection-agent。开始前需查看 .claude/context/memory/learnings.md,完成后将评估模式、质量问题、权重决策写入相应记忆文件。