用途:评估 Claude Code 的命令、技能与智能体,衡量提示词有效性、上下文工程选择是否达到预期效果,并持续发现回归问题。
主要能力:提供面向结果的评估思路,强调智能体具有非确定性、可有多种有效路径,因此评判应看结果而非固定执行步骤。采用多维度评分标准,涵盖指令遵循、输出完整性、工具效率、推理质量与回答连贯性,并给出相应权重与 0.0 至 1.0 的分级描述,可按场景设通过阈值(一般 0.7,关键操作 0.85)。包含 LLM-as-judge 与人工评估两种方式,强调先给证据理由再打分的思维链要求;还介绍直接评分与成对比较两类方法,以及位置偏差、长度偏差、自我增强偏差等需要缓解的偏见。测试集设计建议覆盖简单到高度复杂层级,并涉及上下文策略对比与上下文退化测试。
使用方式:可参考其评估提示词模板,填入原始任务、智能体输出、参考答案与评分标准,要求结构化评分与改进建议;成对比较时对调顺序做两次以检查位置一致性,分歧则判为平局并降低置信度。
适用场景:迭代 Claude Code 提示词、验证上下文工程方案、比较不同模型或架构表现、构建生产评估流水线。
限制:原文未提供具体安装命令、代码示例与定价信息;评估本身依赖任务与评分标准设计,非确定性任务不存在唯一正确答案,人工评估仍用于捕捉边缘案例。