用途:在 Claude Code 中运行干净的 A/B 基准测试,一个会话仅用内置工具,另一个使用 hex-line,衡量激活、正确性、时间、成本与 token。当前运行器仅限此内部 A/B,本身不能证明优于外部替代方案。
主要能力:场景化、diff 校验、清单驱动、运行时支撑。输入为含 mcp/hex-line-mcp/ 的仓库检出,可选 references/goals.md 与 references/expectations.json;输出为 results/{date}-comparison.md 对比报告及机器可读摘要。
使用方式:先满足前置条件(claude --version、git 可用,server.mjs、hook.mjs、goals.md、expectations.json、mcp-bench.json 存在),再运行:bash plugins/optimization-suite/skills/ln-840-benchmark-compare/scripts/run-benchmark.sh [goals.md] [expectations.json]。可通过 EXTRA_SESSION_ID、EXTRA_SESSION_LABEL、EXTRA_MCP_CONFIG、EXTRA_SETTINGS 增加第三个会话配置。
流程:定义规范套件、预检(node --check 与 SessionStart 冒烟)、逐场景执行(同一提交的两个干净 worktree)、解析结果、读取报告。报告含场景结果、激活、时间、成本、token、工具总计与有效性。
限制:无效运行表示设置或采用失败,非产品性能;场景 FAIL 表示未满足正确性契约;外部基线须复用同一 goals.md、expectations.json 与 diff 评估规则,不得改写场景;仅覆盖内置 Claude 与 hex-line 的报告须明确说明。缺失事实暂未提供。