SuperAPI AI 工具集

skill-eval

智能体与模型

查看项目

更新于 10-16 07:23

技能介绍

用途:对高频 process skill 做动态行为评估,回答“skill 变更后行为是否真的变好”。与静态的 skill-description-audit 互补,定位为有/无 skill 的 pass-rate 对比实验。适用时机包括 skill 变更后、季度评估、新 skill 验收建基线。首批目标为 code-review、project-handoff、writing-plans、stage-gate。

主要能力:定义 3-5 个代表任务(每任务为独立 prompt 加可判定 AC,覆盖核心能力、预判失败模式、AC 机器可验证、用真实仓库最小场景);分别跑无 skill 基线与有 skill 组;逐次判 pass/fail;汇总通过率对比表;做失败案例分析;产出报告与改进项。

使用方式:评估记录目录为 .scratch/neonforge-v1/skill-eval/<skill>-<YYYY-MM-DD>/。步骤为:1 定义代表任务;2 无 skill 基线每任务跑 N 次(N≥3,fresh agent、无对话种子);3 有 skill 组同任务同 prompt 跑 N 次(fresh agent 加加载目标 skill 指令);4 按任务 AC 逐次判定;5 汇总 pass-rate 对比表(任务、无 skill、有 skill、Δ);6 失败案例分析,取成功与失败代表样例定位改进点;7 产出报告并把改进项写回 SKILL.md 或列为下轮验收项;8 结果入 SKILLS-MAP 或该 skill README 基线表。运行纪律要求 fresh agent、两组 prompt 逐字一致、判定者独立于执行者、每次运行落盘任务 prompt、AC、产物路径与判定。

限制与边界:判定不信 agent 自报成功,按 AC 证据判定,遵循 verification-before-completion 纪律。反模式包括 N<3 或两组条件不一致、同会话跑两组导致 skill 指令泄漏到基线、凭感觉判定、只报对比不反哺、任务不覆盖标志性能力。与 skill-description-audit 的分工是先合规后行为;delegated-research 不适用,因为评估是受控实验而非调研。验收要求每任务两组各 N≥3 次且记录落盘、输出带 Δ 与结论的对比表、低分 skill 给出具体可验收改进项并已反馈、基线结果入 SKILLS-MAP 或 README。