用途：为 AI 智能体设计、实现和维护评估（eval）体系，基于 Anthropic《Demystifying evals for AI agents》。适用于编码、对话、研究等智能体，也用于构建基准、设计评分器、生产监控、CI/CD 自动化评估、排查智能体性能问题及衡量随时间改进。
主要能力：介绍评估演进三阶段（单轮、多轮、智能体）及七个关键术语（任务、试运行、评分器、转录、结果、测试装置、套件）。评分器分三类：代码评分器（快速、客观、可复现，适合编码智能体和结构化输出）、模型评分器（LLM-as-Judge，灵活但需校准，适合对话和开放式任务）、人类评分器（最准确但昂贵、慢、难扩展，适合最终验证）。按智能体类型给出策略：编码类可用 SWE-bench、Terminal-Bench 与自定义测试套件，关注测试通过率、构建成功、lint 合规、diff 大小；对话类可用 τ2-Bench，关注解决率、满意度代理、轮次效率、升级率；研究类关注可溯源性、覆盖度、来源质量、事实准确性；计算机使用类可用 WebArena、OSWorld，校验 UI 状态、数据库状态、文件状态。还提供八步路线图，从早期 20-50 个任务起步，涵盖把人工测试转为 eval、保证任务清晰并提供参考解、平衡正负用例、用 Docker 隔离环境、聚焦结果而非路径、阅读转录、监控评估饱和、长期维护，以及 CI/CD、生产采样监控和 A/B 测试集成方式。
使用方式：可按资料中的代码与 YAML 示例定义任务、评分器和评估套件，用 mkdir -p evals/{tasks,results,graders} 初始化结构；用 pytest 等运行代码评分；用评分量规做模型评分；在 GitHub Actions 中运行 python run_evals.py --suite=core --mode=compact 并上传结果。
适用场景：编码、对话、研究、计算机使用智能体的 eval 设计与落地，生产质量监控与持续改进。
限制：参考资料未提供该技能的具体安装命令、价格、平台支持范围与性能数据，暂未提供；模型评分器需校准且可能不稳定，人类评分成本高。