SuperAPI AI 工具集

pipeline-evaluator

智能体与模型

查看项目

更新于 10-16 02:36

技能介绍

用途:对一个多任务智能体流水线进行事后质量评估,输出结构化评估报告,给出综合结论和按严重程度排序的改进建议。

主要能力:按 5 个维度评分并加权求综合分。D1 任务完成率(权重30%),按已完成任务占比映射分数;D2 偏差数量(权重20%,越少越好);D3 测试通过率(权重25%,解析如 PASS 42/42 的结果,无结果为中性 50);D4 时间效率(权重10%,实际与预估时长比较,无预估取中性 70);D5 质量评分(权重15%,依据 lint、format、TODO 等信号,无信号默认 60)。综合分 >90 为 EXCELLENT,>75 为 GOOD,>60 为 ACCEPTABLE,≤60 为 NEEDS_IMPROVEMENT。

使用方式:通过 Skill({ skill: 'pipeline-evaluator' }) 调用。先调用 TaskList() 获取流水线全部任务,再对每个任务调用 TaskGet({ taskId }) 读取状态、摘要、修改文件、偏差、测试结果与时间等元数据,必要时读取计划文件核对范围,然后逐维度打分、计算综合分、生成建议,最后写出 Markdown 报告和符合 pipeline-evaluation.schema.json 的 JSON 报告。

适用场景:多任务流水线完成后的质量度量、路由请求的流水线后质量门禁、反思智能体需要的结构化指标、持续改进循环的基线数据。

限制与禁忌:所有任务必须进入终止状态(completed/failed/cancelled)后才能评分;不得只用任务数代替质量,必须检查测试通过率;不得省略 JSON 报告;测试通过率未超过 90% 时不得判为 EXCELLENT。关于价格、平台支持范围等,资料暂未提供。