用途:Grill Skill 通过访谈用户来设计某个技能的评测(eval),然后循环执行“运行→诊断→改进”,直到技能达到可发布状态。它围绕四个问题组织评测:Fires(智能体是否在应触发时触发该技能)、Works(触发后是否完成工作)、Earns(是否优于不带该技能的对照)、Holds(跨编辑是否保持良好)。
主要能力:入口为 /grill-skill [path],可选传入 SKILL.md 路径;未给路径时在当前目录查找 SKILL.md 并确认。流程分阶段:理解技能、检测评测模式(新建或补全)、首次运行、检查任务是否真正需要该技能、诊断与迭代。新建评测时逐题访谈,覆盖正常路径、边界情况、对抗性场景、邻近技能与静默探针,并把回答转成任务(提示词、expect、assert、activates)。补全模式会读取现有规格,按所回答问题分组报告任务,指出缺失项。
使用方式:需要 caliper,缺失时用 pipx install caliper-eval 安装。命令、规格骨架与任务编写规则见 REFERENCE.md。规格写在 SKILL.md 旁,命名为 <dir-name>.eval.yaml,含 skills: [./SKILL.md],不写 engine,后端与模型在运行时用 --model / --judge-model 选择。首次运行在 k=1 验证规格;检查任务区分度时用 --ablate <skill-name> 运行对照与完整运行,均 k=3,再用 caliper compare 比较。迭代时用户编辑 SKILL.md 后以 k=3 重跑并两次比较(对比上一次完整运行与保留的对照)。
适用场景:为技能设计可观测、可判定的评测任务,区分描述问题与正文问题,判断技能是否真正带来增益。
限制:运行默认加载用户自身定制(用户技能、插件、规则、设置与连接器),在比较后端或模型、结果离开本机、或测量裸智能体时需隔离(--no-user-customizations 或 user_customizations: false)。harness 为单次执行,无人回答智能体提问。k=3 时单次尝试有 33 点波动,异常胜负需在 k≥5 确认。若出现 Not logged in,需征得用户同意后运行登录命令;hermes model 为交互式选择器,需用户自行在终端运行。资料未提供具体价格与平台信息。