用途
implement-eval 是面向 Prefect MCP server 仓库的一项技能,用于实现或更新以场景为中心的评测(eval),在需要从 GitHub issue 或所描述的支持场景中补充 eval 覆盖时使用。
主要能力与工作方式
按照技能说明,改动前应先阅读 AGENTS.md 和 evals/README.md,然后按以下流程推进:
- 解析请求的场景:如果用户提供 GitHub issue 编号或 URL,就通过可用的 GitHub 集成或 gh CLI 读取;否则使用用户描述的场景。
- 识别面向用户的问题、所需的 Prefect 状态、预期排查过程和成功标准。
- 在选择文件位置前先检查相关的 evals 与 fixtures。合适时扩展现有场景目录,否则在 evals/ 下新增一个聚焦测试。
实现 eval 的要求
- 在 fixture 中创建 server 状态。
- 以 Prefect 用户或支持工程师会使用的语言来提示智能体。
- 对最终行为或答案进行断言,而不是对偶然措辞或私有实现细节断言。
- 协议行为保留在单元测试中,而不是放进 evals。
- 先运行最窄范围的相关 eval,再用 just evals 运行完整套件。
- 在 evals/README.md 中新增或更新该 eval 的对应行。
- 检查 diff 中是否存在无关改动,并报告所覆盖的场景与已执行的验证。
限制
该技能明确要求:不要向技能中添加真实凭据(live credentials)、特定 harness 的参数占位符,或客户端特定的工具语法。
暂未提供的信息
关于该技能的收费、价格、适用平台、效果指标等,资料中暂未提供。