SuperAPI AI 工具集

agent-evaluation

测试与质量

查看项目

更新于 10-15 19:53

技能介绍

用途:该技能面向“如何度量 AI 智能体”这一决策问题,而非实现智能体功能本身。适用于需要为编码、研究、对话或 computer-use 智能体制定评测计划、选择评分器、搭建基准套件、回归门禁或评测路线图,以及打通离线评测、CI 检查与生产质量监控的场景。

主要流程与能力:先分类智能体类型与风险,明确要支持的决策(发布门禁、回归检查、基准、诊断、生产监控)、主要风险、环境与可用证据。随后选择评分器栈:可在测试、文件、数据库状态、退出码或结构化输出验证时使用代码评分器;开放式质量但有明确评分标准时使用模型评分器;模糊、安全敏感或需校准的片段使用人工评审;可混合但需指明主评分器与升级路径,优先结果检查而非路径检查。

套件设计:建议初始套件含 20-50 个代表性任务,平衡成功、失败与边界案例,每个任务需有提示、环境设置、期望结果、评分器与超时;评分维度需对应所做决策。编码智能体侧重构建、测试、规格匹配与 diff 质量;研究智能体侧重依据、覆盖、来源质量与事实核验;对话智能体侧重解决率、政策遵循、轮次经济性与人工质量;计算机使用智能体侧重最终 UI 或系统状态。

评测工具与运行:需明确执行环境、重置策略、超时与重试、记录捕获、不稳定用例处理,以及哪些进 PR 检查、哪些进夜间或定时运行;非确定性套件应使用重复试验或采样。生产闭环需说明离线保留内容、门禁内容、生产采样方式、失败审查、饱和或基准漂移检测,以及新失败何时转为回归任务。最终返回一份紧凑评测包,含范围、评分器栈、套件设计、评测工具与运维、生产反馈闭环及下一步。

限制:不适用于修复应用、提示或工作流本身,也不用于后端/API 测试实现、研究综述、RAG 设计或智能体实现。若已有冻结评测工具并只想做有界变更循环,应转向 skill-autoresearch。参考资料为 references/grader-selection.md 与 references/ops-and-calibration.md;涉及 Anthropic 评测文章及 SWE-bench、WebArena、OSWorld、tau2-bench 等基准族。收费、平台等细节暂未提供。