用途:该技能面向质量工程师,用于评估 LLM 智能体。资料指出,评估 LLM 智能体与传统软件测试本质不同:相同输入可能产生不同输出,“正确”往往没有唯一答案。目标是提前发现生产环境问题,而非追求 100% 测试通过率。
主要能力:agent-testing(智能体测试)、benchmark-design(基准设计)、capability-assessment(能力评估)、reliability-metrics(可靠性指标)、regression-testing(回归测试)。
使用方式与模式:包含统计式测试评估(多次运行并分析结果分布)、行为契约测试(定义并测试智能体行为不变量)、对抗性测试(主动尝试破坏智能体行为)。
反模式:单次运行测试、只测正常路径、输出字符串匹配。
注意事项(Sharp Edges):基准得分高但生产失败(高,需衔接基准与生产评估);同一测试时通过时失败(高,需处理 LLM 评估中的不稳定测试);智能体为指标而非实际任务优化(中,需多维评估防止钻空子);测试数据意外进入训练或提示(严重,需防止数据泄漏)。
前置要求:testing-fundamentals、llm-fundamentals。相关技能:multi-agent-orchestration、agent-communication、autonomous-agents。适用场景:需要执行上述评估工作流或动作时。具体安装命令与代码示例资料未提供。