SuperAPI AI 工具集

optimizespec-verify

测试与质量

查看项目

更新于 10-16 05:59

技能介绍

OptimizeSpec Verify 是 OptimizeSpec 体系中的验证技能,用于检查一个自我改进实现是否真实、完整且可运行,同时避免做出无关改动。

用途 它面向需要验证 OptimizeSpec 实现的场景:确认产物是否齐全,确认实现是否真实存在于可执行优化系统文件夹中(或明确记录阻塞项),并区分“系统循环就绪”与“智能体质量提升主张”两类结论。

主要能力

  1. 产物完整性检查:确认提案、设计、规格、任务等产物齐全。
  2. 目标与实现定位检查:确认提案与设计写明推断出的目标运行时、证据、可执行优化系统文件夹、运行输出文件夹,并确认实现位于可执行文件夹或已明确记录阻塞项。
  3. 技能与路径校验:校验技能 frontmatter 与引用路径,包括运行时特定路径。
  4. 直接 eval:在 fixture 或小型 eval 套件上运行直接 eval。
  5. 证据账本检查:确认包含运行清单、候选注册表、运行时可中立的 rollout 记录、逐用例分数、judge 记录(如存在)、ASI 记录、比较记录、优化器谱系、排行榜、最佳候选证据,以及可选的晋升或不晋升决策。
  6. 失败 rollout 检查:确认 ASI 覆盖输入、预期、实际、反馈、错误、Agent Trajectory、分数、字段级 ASI 键。
  7. 比较检查:运行 compare,确认逐用例与聚合增量。
  8. 优化器接线检查:用最小的、生产等效的 smoke 证明候选通过实时 rollout 分数被评估。明确禁止使用伪造、仅 mock、无凭据或占位测试;若缺少凭据、权限、工具、MCP 服务器、托管运行时访问或环境配置,应停止并询问用户,而不是削弱测试。
  9. 评分器检查:确认评分器以真实运行时的最终输出/报告与轨迹证据为主要目标;静态提示文本只能支持诊断,不能用于实时优化评分。对 Claude Managed Agents,还需检查运行时特定的 ASI 与 scorer 指南。
  10. 结论分层:将系统循环就绪与智能体质量提升主张分开陈述。

使用方式 按技能文档约定,使用以下参考契约开展验证:

  • ../optimizespec-common/references/core/reference-contracts.md 用于选择验证参考。
  • ../optimizespec-common/references/core/live-eval-runner-contract.md 作为运行时可中立的实时 rollout 证据清单。
  • ../optimizespec-common/references/core/eval-system-evidence.md 作为证据账本清单。
  • ../optimizespec-common/references/runtimes/claude-managed-agent/scorers-and-asi.md 作为 Claude Managed Agents 实现的 ASI 质量清单。
  • ../optimizespec-common/references/runtimes/claude-managed-agent/python-managed-agent-package/README.md 与 ../optimizespec-common/references/runtimes/claude-managed-agent/python-managed-agent-package/src/optimizespec/runtime.py 作为实时 Python Managed Agents 参考,用于检查 SDK 设置、流排空行为、结果捕获、输出获取与清理。
  • ../optimizespec-common/references/core/verification-contract.md 用于就绪状态报告。

适用场景 适用于检查 OptimizeSpec 生成的技能、产物完整性、eval runner 行为、ASI 质量等。

限制 资料未提供该技能的收费、价格、许可、支持平台、安装命令或代码示例;这些信息暂未提供。验证过程不得使用伪造、mock-only、无凭据或占位测试,缺少必要运行条件时应停止并向用户询问。