SuperAPI AI 工具集

eval-quality-workflow

测试与质量

查看项目

更新于 10-16 06:15

技能介绍

用途:该技能针对 src/inspect_evals/ 中的单个评测,提供两种工作流——修复(fix)与审查(review)。修复模式按 EVALUATION_CHECKLIST.md 重构评测以符合标准;审查模式仅评估合规性,不做修改。

识别评测:优先采用用户给出的名称;若刚构建过某评测或用户有未提交代码,可据此推断;不确定时应询问用户。评测名称为评测文件夹名加版本号(取自 @task 函数的 version 参数),如 GPQA 1.1.2 对应 gpqa_1_1_2;若同名文件夹已存在,则追加编号如 gpqa_1_1_2_analysis2。

修复流程:创建 agent_artefacts/<eval_name>/fix 目录,复制 EVALUATION_CHECKLIST.md,创建 NOTES.md 与 UNCERTAINTIES.md。自上而下逐项检查清单,对每项评估置信度(高/中/低):高置信度则修复并勾选;中置信度记录疑问后尽力解决;低置信度仅记录疑问、不处理且不勾选。不处理评测报告,需在 SUMMARY.md 中说明自动生成报告需单独的 /eval-report-workflow 技能;仍需运行初始测试确保评测可运行,测试模型使用评测 README 示例命令中的模型,例如 uv run inspect eval inspect_evals/<eval_name> --model openai/gpt-5-nano --limit 2。完成后整理 NOTES.md 与 UNCERTAINTIES.md,创建 SUMMARY.md 并告知用户。

审查流程:创建 agent_artefacts/<eval_name>/review 目录,复制清单并创建 NOTES.md、UNCERTAINTIES.md。阅读清单及链接文档,逐项检查相关文件,按“标准、问题、位置、修复建议、评论”格式记录问题;评论以 (Agent) 开头,便于未来通过 gh CLI 发布为 GitHub 评论,语气需礼貌。最后在 SUMMARY.md 中总结整体质量、问题数量与主要问题。

限制:仅覆盖清单中可由智能体检查的项;不自动生成评测报告;低置信度项不处理;具体标准内容以仓库中的 EVALUATION_CHECKLIST.md、BEST_PRACTICES.md 和 CONTRIBUTING.md 为准。