SuperAPI AI 工具集

skill-autobench

通用与其它

查看项目

更新于 10-16 03:47

技能介绍

用途:为 skills/ 下已有技能编写基于真实使用历史的评测,而非依据技能说明(spec)推测。属于技能自改进闭环中的“评测作者”环节,配合 SkillOpt 生成器与 gbrain eval cross-modal 判分器使用。

主要能力:

  1. 挖掘。优先查询大脑会话档案(conversations/ 下页面),再使用各 harness 的会话转录。命令如 gbrain search "<skill-name>"、gbrain query "when did I use <skill-name> and what did I ask for"、gbrain transcripts recent --full。每个命中提取调用窗口:调用前的用户请求、调用轮本身、其后 2 轮,因为纠正往往出现在这里。若没有任何真实调用,输出诚实的无历史报告并停止,不编造“典型”调用。
  2. 综合。结合挖掘窗口与当前 SKILL.md 产出建议的 eval_contract(目标、维度、hard_fails)、4-8 个可复现用例(input、expected_behavior、failure_mode_to_catch),以及 spec 与实际使用的差距。每个维度与用例必须标注 HISTORY-IMPLIED(并引用窗口)或 SPEC-DERIVED,历史稀少时在文件顶部醒目标注 GROUNDING WARNING。暂存前把真实姓名、公司等改写为占位符。
  3. 暂存。写入 skills/<name>/eval/autobench-<date>.md,frontmatter 状态为 PENDING-HUMAN-APPROVAL。本技能从不改写 SKILL.md、触发器或路由面,合并由人工决定。

通过后:把获批用例转为 skills/<name>/skillopt-benchmark.jsonl,运行 gbrain skillopt <name>;用 gbrain eval cross-modal --task "..." --output <path> 判分;积累更多使用后重跑并对比基线。

适用场景:有真实调用历史的技能评测编写与迭代。限制:无历史时不适合本技能(应使用 gbrain skillopt <name> --bootstrap-from-skill);需要 conversations/ 档案由 conversation-archive 技能先行导入;挖掘与综合默认走低价模型档,多模型判分需显式开启。面板完整性检查为对结果对象的纯断言逻辑,不调用模型。分类为智能体与模型(依据其围绕技能评测、模型判分与生成闭环的用途)。