用途
该技能用于评估其他技能在多个 Claude 模型上的表现。它通过子代理(sub-agents)在 sonnet、opus、haiku 模型上并行执行目标技能,并采用基于质量的加权评分方式,帮助判断技能是否正确工作、比较不同模型的能力差异。
主要能力
- 跨模型评估:在 haiku、sonnet、opus 上并行执行同一技能。
- 质量导向评分:不采用二元通过/失败,而是用 0-100 分加权评分,揭示模型间能力差异。
- 场景驱动:从目标技能目录的 tests/scenarios.md 加载测试场景,优先使用 Hard 或 Medium 难度场景。
- 行为级评分:对每个预期行为按 Minimum、Quality criteria、Haiku pitfall、Weight 逐项打分。
- 结果记录:将评估结果以表格形式追加到技能 README,形成历史记录。
- 汇总输出:生成按行为和总分排列的评估汇总表,并附观察与后续建议。
使用方式
要求:仅限 Claude Code CLI,Claude.ai 不可用。
工作流程:
-
加载测试场景:检查目标技能目录下的 tests/scenarios.md。若存在多个场景,优先选择 Hard 或 Medium 难度。场景需包含名称、难度、查询、预期行为(含 Minimum、Quality criteria、Haiku pitfall、Weight)以及可选的输出验证。若文件缺失或格式过旧,需请用户按 references/evaluation-structure.md 更新。
-
使用子代理执行(阶段 1):为每个模型并行生成 Task 子代理,使用 model 参数指定 haiku、sonnet、opus。提示模板要求实际执行技能而非仅描述,在 $PWD/.ai_text/{yyyyMMdd}/tmp/{skill_name}-{model}-{hhmmss}/ 下创建输出目录,并仅返回简要信息(提问、假设答案、关键决策、创建的文件路径、错误)。子代理完成后,用 Glob + Read 直接读取文件评估质量。
-
逐项行为评分:每个预期行为按 0-100 打分(0 未尝试或完全错误;25 尝试但低于最低标准;50 达到最低标准;75 满足大部分质量标准;100 满足全部质量标准)。评分时检查是否达到 Minimum、满足多少 Quality criteria、是否触发 Haiku pitfall 并扣分,最后应用权重。
-
计算加权分数:行为得分 = 扣分后的基础分;总分 = Σ(行为得分 × 权重) / Σ(权重)。评级阈值:90-100 ✅ Excellent(生产就绪);75-89 ✅ Good(可接受);50-74 ⚠️ Partial(质量问题);25-49 ⚠️ Marginal(显著问题);0-24 ❌ Fail(无法工作)。
-
将结果添加到 README:在技能 README 中追加评估结果表格,包含日期、场景、难度、模型、分数、评级。要求使用完整模型 ID、YYYY-MM-DD 日期格式、标注难度、同时包含数字分数和评级 emoji,并追加而非覆盖。
-
输出汇总:生成按行为分列的分数表和总分表,并附观察与后续步骤。
适用场景
- 测试某个技能是否能正确工作。
- 比较不同 Claude 模型执行同一技能的能力差异。
- 为技能建立跨模型的历史评估记录。
- 根据质量要求和预算考虑模型选择。
限制
- 仅适用于 Claude Code CLI,Claude.ai 不可用。
- 依赖目标技能提供符合格式的 tests/scenarios.md,否则需用户先更新。
- Token 使用量包含技能执行和报告开销两部分;sonnet 倾向生成详细报告,会抬高 token 计数,比较执行效率时应参考工具使用情况。
常见模型陷阱
- haiku:提问浅显(检测:统计具体性)、跳过论证(检测:是否包含推理)、遗漏引用(检测:是否读取文件)。
- sonnet:过度工程(检测:范围蔓延)、报告冗长(检测:token 数与输出对比)。
- opus:输出过于冗长(检测:token 计数)。
快速参考
加载场景(优先 Hard)→ 执行(并行)→ 行为评分 → 计算总分 → 添加到 README → 输出汇总。详细评分指南见 references/evaluation-structure.md。