SuperAPI AI 工具集

agent-evaluation-reporting

测试与质量

查看项目

更新于 10-16 05:41

技能介绍

用途:把原始智能体评测运行整理成可用于决策的报告,同时不掩盖失败、不夸大能力。适用于基准测试、回归测试、试点或生产评测的结果汇总;也适用于自主完成与人工辅助完成混在同一结果集,以及失败、超时、基础设施无效运行、重试或部分结果影响分母的情况。

主要能力:

  1. 冻结对比条件:记录任务集与采样、模型与提供方、提示或策略版本、工具与执行框架版本、评估标准、超时与重试策略、token 或成本预算、环境、人工介入政策,并给配置分配稳定标签或摘要。材料条件不同则标记为不可等价对比,只作方向性观察。
  2. 建立互斥的结果台账:每次计划尝试只归入一种结果——autonomous_success、assisted_success、failure、timeout、invalid,并保留尝试 ID、任务 ID 或种子、重试序号、父尝试 ID、配置标签、结果、介入次数、时长、成本、评估证据和无效原因。不得静默丢弃无效或重试运行。同时构建唯一任务汇总,保留首次尝试结果并得出固定重试策略下的事后结果。
  3. 每个指标锁定分母:如自主尝试成功 = N_autonomous / N_eval,辅助尝试成功 = N_assisted / N_eval,尝试非完成 =(N_failure + N_timeout)/ N_eval,无效尝试率 = N_invalid / N_all,首次尝试完成 = T_first_attempt_completed / T_all,事后任务完成 = T_eventual_completed / T_eval,运行交付 = T_eventual_completed / T_all。尝试级与唯一任务级指标必须明确标注,不得把尝试级比率称为工作流完成率。分母为零时报告不可用,并把相关门槛标为不确定。
  4. 诚实处理延迟与成本:自主完成延迟、辅助端到端延迟、失败到终止时间分别报告;仅成功样本的 P50 不等于整体 P50;全运行分位数只能由逐次运行观测计算并说明超时处理方式;token 与成本指标沿用同样的人群标签。
  5. 量化不确定性与可比性:随机评测需给出样本量与区间或重复运行分布;对比时报告绝对差值并确认双方共享冻结条件;数据缺失、条件不同或区间过宽时使用不确定结论。
  6. 将证据映射到预设决策门槛:先定义就绪门槛(如最低自主成功率、最大超时率、零严重安全违规、延迟或成本上限),逐项返回通过、失败或不确定。

使用方式:按上述步骤整理已有评测证据;技能本身不验证评估器,也不重建缺失的运行记录。

限制:小样本或有偏任务集可能产生看似精确但不具代表性的指标;统计显著性不等于生产安全、用户价值或可接受成本;缺少验收阈值、严重性政策或必要证据时就绪结论保持不确定。安全方面需对报告中的凭据、私有提示、个人数据和敏感工具输出做脱敏,并把严重安全违规作为独立发布门槛而非并入总体质量分。资料未提供安装命令或额外代码。