SuperAPI AI 工具集

evaluate-skill

测试与质量

查看项目

更新于 10-15 07:53

技能介绍

evaluate-skill 是一个用于评估 AI 技能质量的编排型技能,核心目标是通过跨模型层级的盲测来判断某个 AI 技能的清晰度与健壮性。

用途方面:它面向需要验证技能说明是否足够清晰、能否被较低能力模型正确执行的场景,帮助发现技能描述中的歧义、缺失上下文、过度复杂推理或隐含知识要求等问题。

主要能力包括:读取并校验输入文件;建立跨层级评估矩阵;执行盲测;评估结果并生成改进报告。具体流程如下:

  1. 加载输入:读取 {{ skill-path }} 处的技能文件,读取 {{ test-cases-path }} 处的测试用例文件,并校验测试用例是包含 input 与 expectedOutcome 字段的 JSON 对象数组。

  2. 设置评估矩阵:待测模型层级为 opus、sonnet、haiku;对每个层级、每个测试用例规划一次盲测运行。

  3. 执行盲测(从最高层级开始):按 opus → sonnet → haiku 的顺序,对每个测试用例在当前层级生成一个 test-subject 智能体,只向其提供技能内容与测试用例 input,不提供 expectedOutcome,然后收集其输出。

  4. 评估结果:对每次运行,将 test-subject 的输出与 expectedOutcome 比较,使用语义相似度判定通过/失败(输出无需完全相同,但须达成相同目标),并记录 tier、测试用例索引、通过/失败、输出摘要。

  5. 生成改进报告:识别所有测试用例全部通过的最低层级,即“清晰度下限”;对每个失败项分析低层级智能体失败的原因,例如指令是否含糊、是否缺少上下文或假设、是否属于过于复杂的多步推理、是否存在隐含知识要求;并给出具体、可执行的技能改进建议。报告按 Summary、Per-Tier Results、Failure Analysis、Recommendations 分节,最终输出给用户。

适用场景:需要对某个 AI 技能进行质量把关、判断其可被不同能力模型稳定执行的场景,尤其适合在技能发布或迭代前做清晰度与健壮性验证。

限制:资料中未提供该技能的具体安装命令、运行环境要求、依赖项、收费信息以及可用平台等细节;其输入路径以占位符形式给出,实际使用需按占位符提供相应文件。