optimizespec-verify
OptimizeSpec Verify 是一个用于验证 OptimizeSpec 自我改进实现是否完整、可运行的技能。它会在不引入无关改动的前提下,检查提案、设计、规格与任务等产物是否齐全,核对提案与设计是否明确写出推断出的目标运行时、证据、可执行优化系统文件夹与运行输出文件夹,并确认实现确实位于可执行文件夹或已明确记录阻塞项。该技能还会校验技能 frontmatter 与引用路径(包括技能所指定的运行时相关路径),在 fixture 或小型 eval 套件上运行直接 eval,并检查证据账本是否包含运行清单、候选注册表、运行时可中立的 rollout 记录、逐用例分数、judge 记录、ASI 记录、比较记录、优化器谱系、排行榜、最佳候选证据以及可选的晋升/不晋升决策。对失败的 rollout,它要求 ASI 覆盖输入、预期、实际、反馈、错误、Agent Trajectory、分数以及字段级 ASI 键。此外还会运行 compare 以确认逐用例与聚合增量,并用最小但生产等效的 smoke 验证优化器接线,确保候选通过真实 rollout 分数评估,不接受伪造、仅 mock、无凭据或占位测试;若缺少凭据、权限、工具、MCP 服务器、托管运行时访问或环境配置,应停止并向用户询问,而不是削弱测试。