用途:以成对隔离运行方式评测 Blender 建模智能体、技能、提示词、脚本或 MCP 工具,适合基线与插件对比、回归检测,以及在相同任务、模型、算力、限制、Blender 版本和评测器下测量变化。
主要能力:runner 通过 --agent codex(默认)或 --agent claude-code 选择被测智能体;提供 quick、full、challenge、quality、reference、gauntlet 等套件,并支持 realistic_fire_lantern_showcase 等独立任务。记录 CLI 版本、模型、推理强度、Blender 版本、耗时、工具调用、失败与输出哈希,并用 scripts/compare_runs.ts 做随机盲测多视图评判,用 scripts/rescore_run.ts 在评分器变化后重算确定性分数,用 scripts/benchmark_mcp.ts 验证 MCP 传输的确定性指标一致性。
使用方式:每个条件与重复建立隔离目录,条件间不得暴露对方的代码、渲染、指标或预期修复。基线使用 codex exec --ignore-user-config,插件条件使用固定插件目录。示例:
bun "<skill-root>\scripts\run_benchmark.ts" --suite quick --mode baseline --output "<run-root>\baseline"
bun "<skill-root>\scripts\run_benchmark.ts" --suite quick --mode plugin --output "<run-root>\plugin"
challenge 等套件通过 --suite challenge --mode skills --condition-label ... --output ... 运行;realistic_fire_lantern_showcase 需 lamp_fire_15s.mp4 等交付物。Astra 用 --profile astra(gpt-6-astra,medium)。
限制:非交互 Codex 会取消需批准的 MCP 调用,MCP 条件需 --bypass-approvals 且各条件权限一致;插件运行忽略用户配置、按路径加载技能。修改夹具、评分或对比声明前需阅读 references/methodology.md。未提供收费、价格或平台支持范围的信息。