SuperAPI AI 工具集

kev-verify

编程与开发

查看项目

更新于 10-27 11:48

技能介绍

Kev Verify 是一个面向 Kev 项目变更的验证与发布技能,用于重构、修改 kev/*.py、脚本、Space 或 playground 时,确认改动没有引入回归,并将其作为经过评审的 PR 交付。

核心原则:行为由数值定义——概率、保存的权重、冻结评测集的字节。重构完成的标准是这些数值与 main 逐位一致,而不是测试变绿。验证自下而上进行:单元测试套件、依赖权重的对等性测试,再到针对模型、加载器、训练器、数据转换器或指标的任何改动的完整对比流程。

主要步骤包括:

  1. 快速测试套件(同时用于 CI),覆盖单元、研究、生成器、约定、文档工具、硬性 v1、工具 v1、广度 v1、轮次和技能脚本测试。其中 test_rounds.py 会从保存的行重新计算第 5-18 轮的读数与 verdict 并逐数比对,涉及 kev/rounds.py、kev/metrics.py 或轮次规格时还需在持有完整数据的检出上运行。test_conventions.py 在规范归属被重复推导时失败,应调用 helper 而非加白名单。
  2. 依赖权重的对等性测试(本地约 3 分钟),覆盖合并/未合并 LoRA、前缀缓存与完整前向、形状桶填充、行形式与打包掩码、Qwen3.5-0.8B-Base 混合隔离、--init_from 端到端;涉及 kev/model.py、kev/checkpoint.py、kev/serve.py、kev/train.py 时需运行。
  3. 服务测试:启动 kev.serve 后运行 tests/test_api.py;Space 改动需 py_compile 并在必要时重新发布;playground 需 lint 与 tsc 检查。
  4. 浏览器端到端检查:无本地 checkpoint 时可用公开 CPU 回退模型;启动 playground 后测试支持分诊问答卡片、通过 #questions 直接提交 JSON 验证 API 边界情况、棋盘页单步测试;KEV_API_KEY 模式下验证拒绝与接受行为。无法连接显示时可用隔离的 Playwright 无头 Chromium,保存整页截图与网络响应,不得用前端 mock 代替。
  5. 对 main 的对等性对比:用 git worktree 分别运行旧代码与新代码,对比 benchmark 的 rows.json 与 report.json 数值字段、训练产物 head.pt 张量及 adapter_model.safetensors、数据转换器输出,要求 max |Δ| = 0.0;非零差异须解释或修复。依赖 CUDA、bf16 或 4B/9B 规模的改动需在 Modal 上用真实基座验证。
  6. 交付:每个关注点一个分支,评审期间在上一分支上堆叠;用 kev-pr-description 技能撰写 PR 正文,测试计划中给出可复跑的命令与数值而非“测试通过”;用 thermonuclear-code-review 评审并处理发现的问题;用 gh pr merge <n> --squash 合并,并用 git rebase --onto 同步下一堆叠分支;重构中不得提交重新生成的 runs/leaderboard.* 或冻结的 evals/ 文件。

限制:仅适用于 Kev 项目;本地测试使用公开 checkpoint 和一次性 API 密钥时无需 Devin Secrets,私有 checkpoint 需要 HF_TOKEN,托管受保护端点需其配置的 API 密钥。