SuperAPI AI 工具集

evaluate-report

测试与质量

查看项目

更新于 10-15 23:49

技能介绍

用途:查看某个技能或插件的评估结果与基准报告,用于回顾过往评估、比较基准运行、审阅质量趋势。

主要能力:支持技能级与插件级报告。技能级默认显示最近一次基准(--latest),包含通过率、耗时与基线对比,以及逐条评估结果;--history 显示历史迭代;--compare 对比当前与上一次基准,列出改进与退化的评估项。插件级读取 plugin-benchmark.json,按技能列出评估数、通过率与状态,并给出总体通过率。

使用方式:命令为 /evaluate:report,参数从 $ARGUMENTS 解析。<target> 为必填:含 / 视为 plugin-name/skill-name,读取 <plugin>/skills/<skill>/eval-results/benchmark.json;不含 / 视为 plugin-name,读取 <plugin>/eval-results/plugin-benchmark.json。若目标文件不存在,会提示暂无评估结果,并建议运行 /evaluate:skill 或 /evaluate:plugin。

适用场景:需要查看历史评估结果、比较基准运行、审阅技能或插件质量趋势时使用。若需运行新评估用 /evaluate:skill;需改进建议用 /evaluate:improve;需结构合规检查用 plugin-compliance-check.sh。

限制:仅读取已有评估结果文件,不执行评估;具体输出格式与字段以实际文件为准,其他细节暂未提供。