用途：当用户要求“创建 evals”“评估 agent”“构建评测套件”，或提到智能体测试、评分器（graders）时，可参考本技能，按 Anthropic 公开的评测模式搭建严谨的 AI 智能体评测。
主要能力：提供评分器类型（基于代码、基于模型、人工）、智能体类型模式（编码、对话、研究、计算机使用）、从零构建评测的路线图（步骤 0-8）、可选框架（Harbor、Promptfoo、Braintrust 等），以及 YAML 模板（coding-agent-eval.yaml、conversational-agent-eval.yaml）和带注释示例（编码智能体修复认证绕过、对话智能体处理退款）。
核心概念：Task（含输入与成功标准的单个测试）、Trial（一次尝试，可多次运行）、Grader（打分逻辑，一个任务可有多个）、Transcript（完整记录，含输出、工具调用、推理）、Outcome（环境最终状态）、Evaluation harness（端到端运行评测的基础设施）、Agent harness（让模型作为智能体行动的脚手架）、Evaluation suite（衡量特定能力的任务集合）。
评分器：基于代码的方法有字符串匹配、单元测试、静态分析、状态检查，适合快速、便宜、客观的验证；基于模型的方法有评分量表、断言、成对比较，适合细致、开放的任务；人工方法有专家评审、A/B 测试、抽样检查，用于黄金标准校准。
能力评测与回归评测：能力评测问“这个智能体能做好什么”，起始通过率低、逐步爬坡；回归评测问“是否仍能处理原来能处理的事”，目标接近 100%。能力评测通过率高后会“毕业”为回归套件。
非确定性指标：pass@k 衡量 k 次尝试中至少 1 次成功，适合一次成功即可的场景（如编码）；pass^k 要求 k 次全部成功，适合对一致性要求高的场景（如面向客户）。示例：单次成功率 75% 时，pass@3 约 98%，pass^3 约 42%。
可跟踪指标：通过 tracked_metrics 配置 transcript 类（n_turns、n_toolcalls、n_total_tokens）和 latency 类（time_to_first_token、output_tokens_per_sec、time_to_last_token）。
用法：资料强调必须阅读参考文件获取详细指导。
限制：本技能基于 Anthropic 于 2026 年 1 月发布的《Demystifying evals for AI agents》；具体框架版本、安装方式、收费与价格、平台支持等信息资料暂未提供。