用途:当用户要求向评测套件(eval suite)添加新 AI 模型时,按步骤完成配置与基线数据采集。
主要能力与步骤:
- 收集信息:模型标识(OpenRouter 风格名称,如 anthropic/claude-opus-4.6)、可读名称、提供商家族与版本、apiKind(仅 OpenAI Codex/Responses-API 模型需设为 "responses")。不确定时可参考 runner/models/index.ts 中同家族现有模型的配置。
- 在 runner/models/index.ts 的 ALL_MODELS 数组新增条目,放在同家族条目旁并遵循分组注释,模板为包含 name、formattedName 及可选 apiKind 的对象。
- 更新 .github/workflows/manual_evals.yml,将 matrix.model 列表整体替换为仅新模型,该工作流仅用于收集新模型的基线数据。
- 运行 bun run typecheck 验证无类型错误。
- 本地冒烟测试:使用 MODELS=<new-model-name> TEST_FILTER="000-fundamentals/000" bun run local:run,可选再跑 000-fundamentals/001;关注是否出现认证或模型未找到错误,是否产生分数;出现 API/认证错误应停止并修正模型 ID 或检查 .env。
- 提交推送:git add runner/models/index.ts .github/workflows/manual_evals.yml;git commit -m "add <model-name>; demote older <family> versions";git push origin main。
- 触发基线运行:gh workflow run manual_evals.yml --ref main 执行 3 次,间隔约 5 秒。
- 监控至完成:每约 2 分钟用 gh run list --workflow=manual_evals.yml --limit=6 轮询,运行通常 20-30 分钟;失败时用 gh run view <run-id> --log-failed 排查,结束后向用户报告 3 次运行的最终状态。
限制:资料仅提供上述流程与命令,未说明适用平台细节、成本或额外收益;apiKind 仅对特定模型设置;需保证 API 密钥与 .env 配置可用。