SuperAPI AI 工具集

eval-skills

智能体与模型

查看项目

更新于 10-15 20:10

技能介绍

Eval Skills 把技能当作被测函数:用示例输入在干净环境中运行,检查产出是否符合标准,再让失败驱动修改。评估只有在盲跑时才诚实——执行技能的代理不能携带当前对话上下文,也不能看到预期输出,否则就是在应试训练。

运行前需确认三项输入:目标技能(必须能解析到真实的 SKILL.md)、至少一个黄金用例(技能实际会收到的具体输入,如截图、提示、文件、场景)、每个用例的达标标准(好产出应达到的结果与坏产出的迹象,而非穷举部件清单)。缺任何一项都不要运行,应告知用户缺什么并帮助其具体化。

流程:先校验输入并明确技能的第一性原理与评估模式(判断型 vs 一致性型);每个用例用一个全新代理盲跑,隔离运行,优先从运行者最终消息中捕获产出,必须写文件时给一次性沙箱目录,运行后检查并清理泄漏;由独立评审依据产出、标准与技能第一性原理评分,须引用具体证据;对重要或边缘用例重复盲跑 2–3 次报告通过率;将失败诊断为技能缺陷或坏用例,并对照 write-skills 的失败模式命名;通过 write-skills 修订后重新评估全部用例。

输出为简短报告:每个用例的通过率与引用差距、失败映射的缺陷、所做修改(或待批准的 diff)及重评结果。规则:盲跑不可妥协;测判断而非一致性;隔离是尽力而为,清扫才是保证;每个用例每次运行都用全新代理;按标准评分而非互相比较或数字分数;不要为通过无法辩护的用例而扭曲技能。