用途:该技能面向 LLM 智能体的测试与基准评估,包括行为测试、能力评估、可靠性指标与生产监控。资料提到,即便是顶尖智能体在真实世界基准上的表现也常低于 50%。
主要能力:资料列出的能力包括 agent-testing、benchmark-design、capability-assessment、reliability-metrics、regression-testing。生态中提及 AgentBench、τ-bench、ToolEmu、Langsmith 等工具,替代方案包括 Braintrust、PromptFoo。
使用方式:先确认用户目标与范围,再读取 metadata.json 与 ORIGIN.md 确认来源,然后仅加载会实质影响结果的参考、示例或脚本,执行上游工作流并保留来源边界,最后按上游预期验证结果。触发条件包括用户提到 agent testing、agent evaluation、benchmark agents、agent reliability、test agent。
适用场景:评估随机性智能体行为、定义并测试行为契约、构建评审材料等。
限制:不覆盖模型训练评估(loss、perplexity)、公平性与偏见测试、用户体验测试;聚焦智能体能力与可靠性。需要测试方法论、统计分析基础、LLM 行为模式等前置知识,建议具备 testing-fundamentals、llm-fundamentals。资料未提供具体安装命令、收费与价格信息。