Benchmark Comparator 是一个用于在受控、可复现条件下比较工具或实现方案的技能。其核心目标是让比较结果可信：正确性优先于速度，实测数据必须与估算、环境搭建成本和主观解读分开呈现。
用途 该技能适用于需要比较多个候选方案（工具、实现、配置等）的场景，帮助用户基于可验证的证据做出决策，而不是依赖候选方的自我报告或单次最佳表现。
主要能力 技能围绕五个阶段组织工作：
- 定义决策与实验：明确基准要支持的决策、候选方案、目标用户、代表性工作负载和非目标；定义场景输入、预期结果、正确性标准、失败条件，以及独立于候选自报的判定标准；定义主次指标、单位、测量点、验收阈值、允许的权衡和并列或不确定规则；冻结场景文本、夹具、预期、运行器、解析器和决策规则。
- 构建对称测试框架：对所有候选使用相同的运行器、超时、日志、环境构建和产物收集；从同一提交创建干净的工作树或等价隔离副本；控制种子、时钟、区域设置、并发、网络访问、依赖版本、缓存状态、预热和场景顺序；记录候选配置、功能标志、提示、命令行、权限和版本；添加激活检查以证明每个候选确实被使用，识别静默回退或混合执行。
- 执行并采集证据：以平衡或随机顺序运行候选，避免系统性的热缓存或时间优势；采集每次运行的起止状态、命令、退出状态、计时、资源指标、日志、输出、差异、测试和候选特定产物；在评分前验证激活，未证明或回退的运行标记为无效；先按预定义判定标准评分正确性，再检查性能与成本指标；将超时、崩溃、格式错误输出、部分完成、工具错误和环境故障记录为不同的失败类别。
- 分析有效性与结果：仅排除符合预定义无效规则的运行并记录原因；在聚合前报告每个场景的正确性、失败、延迟、资源使用、令牌或用量、工具调用和其他成本；使用中位数、百分位数、置信区间等适合样本和分布的统计量，展示离散度和样本量；检查差异是否超过测量噪声，以及是否存在某个场景主导聚合结果。
- 决策、保存与清理：识别比较能支持哪个决策、其有效的工作负载和环境范围，以及需要进一步实验的条件；仅当候选满足正确性和预定义决策规则且有足够有效证据时使用 WIN；仅当证据支持预定义的微小差异边际或平衡权衡时使用 TIE；当样本量、激活、判定标准、环境控制或冲突场景导致无法可靠选择时使用 INCONCLUSIVE；保存可复现的命令、配置、场景定义、预期、原始结果、归一化结果和分析。
使用方式 该技能以检查清单形式驱动执行，每个检查项需标记为 PENDING、PROVEN（有观察到的结果证据）、CLEARED（有证据表明条件不存在）或 UNPROVEN（存在缺口）。阅读、委托、工具失败、零退出状态和自我报告的成功都不算证据。每个部分后需进行核对，返回前解决所有 PENDING 项，仅统计 PROVEN 和 CLEARED，并对每个缺口应用判定和批准规则。输出按 Result、Scope、Evidence、Verification、Completion 五个字段组织，使用用户语言报告。
适用场景 适用于需要比较工具或实现方案的技术决策，例如选择某个库、框架、配置或工作流。技能要求候选方案解决同一任务、正确性可独立评分、外部影响可隔离，且决策规则在结果产生前已确定。若这些条件不满足，应返回 BLOCKED。
限制 技能明确禁止在观察到偏好候选后调整场景、混合不同工作负载的测量结果，或将内部估算呈现为外部实测事实。基准测试可以创建临时工作树和产物，但不得更改源基线或未经批准的外部状态。正确性失败不能由更好的速度、令牌使用或成本来补偿，除非决策明确允许降低正确性。若预算无法解决有意义的效应，应返回 INCONCLUSIVE。