SuperAPI AI 工具集

skill-autobench

通用与其它

查看项目

更新于 10-15 21:50

技能介绍

用途:为 skills/ 下已有技能编写基于真实使用历史的评测,而非依据规格臆造。评测是自我改进闭环中缺失的一环(另两条腿是变体生成 SkillOpt 与 gbrain eval cross-modal 重放评审)。

主要能力: 一、挖掘:优先查对话档案 conversations/(依赖 conversation-archive 技能),命令如 gbrain search "<skill-name>"、gbrain query "when did I use <skill-name> and what did I ask for";其次用可用的会话记录,如 gbrain transcripts recent --full(仅本地)。每个命中提取调用窗口:调用前的用户请求、调用本身及其后两轮(纠错常在此出现)。若所有来源均无真实调用,则输出诚实的无历史报告并停止,绝不虚构。 二、综合:产出评测契约(目标、维度、hard_fails)、4-8 个可回放用例(input、expected_behavior、failure_mode_to_catch)、规格与用法差异。每个维度与用例标注 HISTORY-IMPLIED 或 SPEC-DERIVED,历史单薄须显著警告。暂存前做人名公司脱敏改占位符。 三、暂存:写入 skills/<name>/eval/autobench-<date>.md,frontmatter 状态 PENDING-HUMAN-APPROVAL。本技能绝不改写 SKILL.md、触发词或路由面,合并由人决定。

后续流程:人工批准后将用例转为 skillopt-benchmark.jsonl,运行 gbrain skillopt <name>;评审走 gbrain eval cross-modal --task "..." --output <path>。面板完整性为纯断言逻辑(不调用模型):每个模型响应非空、来自不同供应商端点、无字节相同输出。

失败改进分类:DETERMINISTIC-CODIFIABLE 转为确定性代码加测试;PROMPT-FIXABLE 加用例与 SkillOpt 运行;SPEC-GAP 交人工;ROUTING-MISS 走 routing-eval.jsonl。

限制:仅针对 skills/ 下已存在技能;挖掘与综合默认用低成本模型,多模型评审需显式开启;无历史时不应使用本技能,改用 gbrain skillopt <name> --bootstrap-from-skill。价格、平台支持等信息暂未提供。