agent-evaluation
Agent Evaluation 是一套用于评估智能体(agent)可观察行为的技能,强调用带版本管理的用例集和明确的验证器来比较 agent、提示词或工具配置的改动,复现已观察到的失败,或估计指定任务分布上的可靠性。它要求在评测前冻结契约(用例 ID、数据集版本、基线/候选身份、目标环境、重复计划、预算、停止规则与决策标准),验证评测框架能正确区分错误结果、预期的安全拒绝、评测器故障与基础设施中断,然后对基线与被测版本运行同一批冻结用例,保留每次尝试的运行记录(run ID、结果、原因、延迟与资源消耗)。它明确反对用公共基准分数或通用分数阈值推断产品就绪度,强调关键安全与授权失败不能被平均质量分数补偿。资料还给出一个无依赖的 Wilson 95% 置信区间辅助函数示例,用于小样本不确定性估计,并提醒相关重复运行应按用例或聚类估计不确定性。该技能包含可选的架构草图(统计评测、行为契约、对抗测试、回归流水线),但需自行编写适配器,并非可直接复制运行。