SuperAPI AI 工具集

implement-eval

测试与质量

查看项目

更新于 10-16 07:09

技能介绍

用途

implement-eval 是面向 Prefect MCP server 仓库的一项技能,用于实现或更新以场景为中心的评测(eval),在需要从 GitHub issue 或所描述的支持场景中补充 eval 覆盖时使用。

主要能力与工作方式

按照技能说明,改动前应先阅读 AGENTS.md 和 evals/README.md,然后按以下流程推进:

  1. 解析请求的场景:如果用户提供 GitHub issue 编号或 URL,就通过可用的 GitHub 集成或 gh CLI 读取;否则使用用户描述的场景。
  2. 识别面向用户的问题、所需的 Prefect 状态、预期排查过程和成功标准。
  3. 在选择文件位置前先检查相关的 evals 与 fixtures。合适时扩展现有场景目录,否则在 evals/ 下新增一个聚焦测试。

实现 eval 的要求

  • 在 fixture 中创建 server 状态。
  • 以 Prefect 用户或支持工程师会使用的语言来提示智能体。
  • 对最终行为或答案进行断言,而不是对偶然措辞或私有实现细节断言。
  • 协议行为保留在单元测试中,而不是放进 evals。
  • 先运行最窄范围的相关 eval,再用 just evals 运行完整套件。
  • 在 evals/README.md 中新增或更新该 eval 的对应行。
  • 检查 diff 中是否存在无关改动,并报告所覆盖的场景与已执行的验证。

限制

该技能明确要求:不要向技能中添加真实凭据(live credentials)、特定 harness 的参数占位符,或客户端特定的工具语法。

暂未提供的信息

关于该技能的收费、价格、适用平台、效果指标等,资料中暂未提供。