用途:Codebase Arena 用于针对特定代码仓库设计、运行并评判中英双语代码库能力基准。每个请求只路由到一个工作流:生成/修订用例(references/workflows/generate.md)、在被评估产品中执行(references/workflows/execute.md)、评判结果并生成对比报告(references/workflows/report.md)。跨工作流时按生成、分别在每个产品执行、再由独立智能体评判的顺序进行,且不得让执行上下文自行评判。
主要能力:每个赛道固定 15 个用例,覆盖 code_retrieval、architecture_conventions、behavior_workflows、dependency_impact、bug_diagnosis 五个能力维度,每维各含一个主 grep-glob-read、codebase-index、hybrid 用例。新生成版本使用 blueprint schema v4,用例固定 generationLoad: none,仅生成只读任务(retrieve_explain、impact_analyze、diagnose),拒绝 verify、test_design、implement、refactor 等开发交付。所有可读的过程产物、用例提示、检查与报告需产出语义对等的中英双版本,中文独立自然书写,H1/H2/H4 审批前须跑确定性双语校验。路径一律使用相对于声明工作目录或产物根目录的相对路径,禁止绝对路径。公开用例留在被评估仓库内,私有证据、评分标准、隐藏测试与评判输入置于其外。
使用方式:执行时每个用例创建一个无继承上下文的全新 case-coordinator 子代理,每次尝试再由其创建一个全新 worker 子代理,直接在被评估项目的实时环境中运行,同一时间只跑一个用例,worker 提示仅用英文并只获得当前用例。每次工作前记录 startedAt、完成后记录 completedAt(秒级 UTC),保留 execution-result.json 并输出 final-response.md(仅 Markdown)。执行前完成依赖安装,首个用例前建立可恢复的项目快照,每个 worker 返回后由该用例协调者冻结状态、确定性回滚并清理 .codebase-eval-worker,快照/回滚/清理出错则终止整轮。每个系统×用例只给一个 0–10 分(0.5 步长),报告据不可变计时证据做有界时长调整。评估根固定为相对被评估仓库根的 .codebase-eval。
适用场景与限制:适用于在真实仓库上对编码产品进行人工复核的双语能力基准评测。仅支持原生仓库与纯代码两条赛道。不询问用例数偏好,不引入第二结果或独立代码/实现/速度分数,generationLoad 仅作元数据。不收集思维链,不保留完整检索轨迹,跨机器传输不在范围内。修改协议脚本或 schema 后运行 node scripts/self-test.mjs。维护技能包时用 scripts/skill-metadata.mjs 生成或校验 agents/openai.yaml。其余如价格、支持平台等信息暂未提供。