用途:在项目中首次初始化评估目录结构,遵循 EDD(Eval-Driven Development)原则,为系统化评估开发做准备。该技能完全独立,不依赖 spec-kit。
主要能力:生成 evals/{system}/ 目录(system 为 promptfoo 或 deepeval),包含 goldset.md、goldset.json、config.yml、config.{js,py} 及 graders/ 目录;自动创建四个安全基线评分器:PII 泄漏、提示注入、幻觉检测、错误信息检测;在 .adlc/evals/ 下生成独立配置与 goldset 模板;完成后自动交接至 /evals-specify 开始错误分析。
使用方式:通过参数传入 --system SYSTEM 指定 promptfoo 或 deepeval,省略时根据技术栈交互选择;其余文本作为系统描述。执行流程包括:扫描 package.json、requirements.txt、Cargo.toml、go.mod 等清单检测技术栈,混合/JS 栈推荐 PromptFoo,Python 原生栈推荐 DeepEval;创建目录结构;若 .adlc/evals/ 缺失则创建,并复制 evals-config-template.yml 为 evals-config.yml;最后触发 /evals-specify。
适用场景:首次为应用搭建评估框架、从传统测试转向评估驱动开发、需要从一开始就自动生成安全基线检查。
限制:若 evals 目录已存在,应改用 /evals-validate 运行测试或 /evals-specify 添加标准;该技能面向项目级应用行为测试,不用于评估团队指令合规性。验证要点包括 goldset.md 存在、evals-config.yml 存在、graders 目录含四个安全基线脚本、results 目录含 .gitignore。