用途:project-evals 属于创建指南三阶段中的第三阶段,用于为某个用例的指南编写评估(eval)基础设施,检验 AI 编码代理能否依据 guide.md 正确实现功能。
主要能力:评估流水线中,真实编码代理只能通过 RAG 看到 guide.md;其余文件均为评估设施。tasks/task.md 提供模拟开发者提示与 base_app;demo.html 为参考实现,grader 对其应通过;negative-demo.html 为反例,grader 对其应失败;expectations.md 是生成 grader.ts 的规格;grader.ts 是针对评估代理输出的 Playwright 测试。
使用方式:expectations.md 写自然语言要点列表,每条对应 grader.ts 中一个 test(),须具体可测、在 demo.html 中被实际覆盖、限定于本用例、不含外部链接、避免过度约束。grader 优先用 Playwright 浏览器 API 检查计算样式与 DOM 布局,避免脆弱的静态断言。写好 guide.md、demo.html、expectations.md 后,运行 node ./bin/gd.ts dev <path-to-guide-directory> 生成 negative-demo.html 与 grader.ts 并校准。tasks/task.md 以 YAML frontmatter 指定 base_app,后接 1–4 条开发者口吻的提示,首条最重要且须具体到可被 grader 测试;提示应为行动指令而非咨询问题,不提及指南或具体 API。
限制:评估通过率低则指南未就绪,0% 无引导通过率是严重阻塞。若 gd dev 校准失败,可调整 expectations.md 措辞或重跑。资料未提供收费、平台与效果信息。