用途
Agent Evaluation 是一个用于测试与基准评测 LLM 智能体的技能，定位为质量工程实践。它面向已经见过“基准测试高分、生产环境惨败”这类情况的工程师，帮助在智能体进入生产前建立评测体系，覆盖行为回归测试、能力评估与可靠性指标。
该技能的核心前提是：评测 LLM 智能体与传统软件测试有本质区别——相同输入可能产生不同输出，“正确”往往没有单一答案。因此评测目标不是追求 100% 测试通过率。
主要能力
技能列出的能力标签包括：
- agent-testing（智能体测试）
- benchmark-design（基准设计）
- capability-assessment（能力评估）
- reliability-metrics（可靠性指标）
- regression-testing（回归测试）
使用方式与模式
技能提供以下评测模式：
- 统计式测试评估：多次运行测试并分析结果分布，而非依赖单次结果。
- 行为契约测试：定义并测试智能体的行为不变量。
- 对抗性测试：主动尝试破坏智能体行为，以暴露边界问题。
反模式
技能明确列出应避免的做法：
- 单次运行测试
- 仅测试正常路径（happy path）
- 输出字符串匹配
高风险问题与应对方向
技能以表格形式列出若干“尖锐边缘”问题、严重程度与解决方向：
- 智能体在基准测试中得分高，但在生产环境中失败（严重程度：高）——方向：衔接基准评测与生产评测。
- 同一测试有时通过、有时失败（严重程度：高）——方向：处理 LLM 智能体评测中的不稳定测试。
- 智能体为指标而非实际任务做优化（严重程度：中）——方向：多维度评估以防止指标被“刷分”。
- 测试数据意外用于训练或提示词中（严重程度：严重）——方向：防止智能体评测中的数据泄漏。
适用场景
适用于需要对 LLM 智能体进行行为测试、能力评估、可靠性度量与回归检测的工程场景，尤其适合关注基准评测与生产表现落差的团队。
前置要求
- testing-fundamentals（测试基础）
- llm-fundamentals（LLM 基础）
相关技能
可与以下技能配合使用：multi-agent-orchestration、agent-communication、autonomous-agents。
限制
资料未提供该技能的具体安装命令、代码示例、收费方式、支持平台或量化效果，这些内容暂未提供。