SuperAPI AI 工具集

eval-skills

智能体与模型

查看项目

更新于 10-15 21:36

技能介绍

用途:把技能当作待测函数,用示例输入在干净环境中运行,检查产物是否符合标准,并让失败驱动修改。评估必须盲跑:执行技能的代理不能携带当前对话上下文,也不能看到预期输出。

必要输入(缺一不可):目标技能,须能解析到真实的 SKILL.md;至少一个黄金用例,即技能实际会收到的具体输入(截图、提示、文件、场景);每个用例的标准,即好产物应达到的结果与坏产物的迹象,而非穷举清单。若缺少或无法解析,应停止并告知用户缺哪一项及合格版本的样子,不得编造用例或猜测意图。

工作流:先校验输入并明确技能的第一性原理与评估模式(判断型或符合型);再锐化每个用例的标准;然后每个用例用一个全新代理盲跑,隔离运行,优先从运行者最终消息中捕获产物,必要时给一次性沙箱目录,运行后检查并清理主检出;接着由独立评审依据产物、标准和技能第一性原理评分,须引用具体证据;对重要或边界用例重复盲跑 2–3 次报告通过率;将失败诊断为技能缺陷或坏用例,并对照 write-skills 的失败模式命名;通过 write-skills 修订,只改失败指向之处;重新评估全部用例,循环至达标或证明技能结构上无法表达该用例。

输出:简短报告,含每个用例的通过率与引用差距、失败映射的缺陷、所做修改(或待批准差异)及重评结果。

限制:盲跑不可妥协;测判断而非符合;隔离是尽力而为,清扫才是保证;每个用例每次运行使用全新代理;按标准评分而非互相比较或数字分数;不要为通过无法辩护的用例而扭曲技能。