用途:当用户需要为 convex-evals 套件新增一个 eval 时,本技能给出从信息收集到校准的完整流程,用于测试某个 Convex 特性或模式(如向量搜索、分页连接、级联删除)。
主要能力与流程:先进入 Plan 模式完成只读协作步骤,确定要测试的概念、焦点与分类(000-fundamentals、001-data_modeling、002-queries、003-mutations、004-actions、005-idioms、006-clients),并选定编号。随后做四项调研:查阅 Convex 文档(https://docs.convex.dev/llms.txt)、检查 runner/models/guidelines.ts 中相关指南、研读同类已有 eval 的 TASK.txt 与答案结构、检查是否与已有 eval 重叠。设计阶段产出 TASK.txt 草稿、答案大纲、评分思路与指南假设,进入实现前需用户确认。实现阶段创建 evals/<category>/<eval_slug>/ 目录与 answer 目录,编写 TASK.txt、answer/convex/schema.ts 与实现文件、grader.test.ts,并执行: cd evals/<category>/<eval_slug>/answer && bunx convex codegen bun run typecheck
验证与校准:先运行 TEST_FILTER=<category>/<eval_slug> bun run validate:answers,再做单模型冒烟 MODELS=anthropic/claude-sonnet-4.6 TEST_FILTER=<category>/<eval_slug> bun run local:run,随后用多个模型并行跑 local:run 校准难度,每个模型至少运行两到三次以减少波动。注意不要设置 CONVEX_EVAL_URL 或 CONVEX_AUTH_TOKEN,使结果仅本地保存。
限制:评分可能无法仅靠单元测试覆盖,需讨论使用 schema/index 检查、AI 评分(当前禁用)、AST 分析或行为测试重构;指南需最小化以避免成本,且不应固定依赖版本。资料未提供具体依赖版本以外的环境要求、收费或价格信息。