用途:在 CI 中执行外层循环的回归测试步骤,运行 .evals/ 下全部评估用例,报告通过/失败,并可按门禁策略阻止合并;也可根据 learning-aggregator-ci 标记的晋升候选创建新评估用例。
主要能力:支持 run(默认)、create、both 三种模式;执行 grep-check、command-check、file-check、rule-check 等机械验证方法;更新 .evals/EVAL_INDEX.md 的最近运行日期与结果;输出 eval_creator_ci 结构化 YAML;以 PR 评论或检查注解发布结果;门禁策略可选 advisory(默认)、critical-only、strict。
安装:gh skill install pskoett/pskoett-skills eval-creator-ci;交互式会话用 gh skill install pskoett/pskoett-skills eval-creator。备用:npx skills add pskoett/pskoett-skills/skills/eval-creator-ci 与 npx skills add pskoett/pskoett-skills/skills/eval-creator。
前置条件:仓库启用 GitHub Actions;gh CLI 已认证并有仓库访问权限;安装 gh-aw 扩展(gh extension install github/gh-aw,v0.40.1+);存在 .evals/ 目录及用例;存在 .evals/EVAL_INDEX.md。
使用方式:将 references/workflow-example.md 复制到 .github/workflows/eval-creator-ci.md,定制触发与门禁策略,运行 gh aw compile 校验(可加 --actionlint --zizmor),推送启用。推荐触发为 per-PR 加每周计划(如 cron '0 10 * * 1')及 workflow_dispatch。
限制:CI 代理没有实现上下文,只执行用例文件中定义的机械验证,不解释结果,细微判断留给人工审查;评估执行对代码只读,创建用例仅写入 .evals/;无交互提示与审批门;每次运行只发一条汇总评论。其他收费、平台与效果信息暂未提供。