这是一个面向认知推理模式的 A/B/C 测试框架，目标是用经验数据判断哪种推理方法在不同问题类别上表现最好，而不是依赖启发式选择。
用途：比较不同推理模式（如 ToT、BoT、SRC、HE、AR、DR、AT、RTR、NDF）的质量、成本与时间取舍，并跟踪长期改进。
主要能力：
- 问题集组织：按优化、探索、诊断、安全、权衡、新颖、时间紧迫、利益相关方等类别分目录，每个类别再按 easy/medium/hard 划分。
- 问题定义模式：problem-template.yaml 包含 problem_id、domain、difficulty、title、description、context（约束与资源）、evaluation_criteria（含 criterion、weight、rubric）、ground_truth 与 tags。
- 指标框架：质量分（0-100 加权）、置信度、Token 成本、执行时间、正确性、完整性、人类偏好等；另有每质量点 Token/时间与每分钟质量等效率指标。
- 置信度校准：按置信度分箱比较实际质量，样本少于 10 时返回 None。
- A/B/C 实验设计：定义假设、基线、条件、问题集、随机种子、温度与时长控制，并覆盖顺序效应与评估者偏差控制。
- 统计要求：双尾 t 检验、ANOVA+Tukey HSD、配对 t 检验、符号检验，以及按效应量估算最小样本量。
- 运行流程：异步 run_abc_test 按配置加载问题、随机化、逐条件运行并收集指标，最后做统计分析。
- 类别预期表现与性能矩阵报告。
使用方式：依据提供的 problem-template.yaml 编写问题，配置 experiment 的 conditions、problem_set、randomization 与 controls，再运行 run_abc_test 收集结果。文中给出的 calculate_quality_score、EfficiencyMetrics.calculate、calibration_score、required_sample_size 等函数与代码示例应保持原样使用。
适用场景：需要数据驱动选择推理模式、量化质量-成本-时间取舍、跨问题类别比较方法效果的研究或工程评估。
限制：具体安装方式、依赖、收费与平台信息暂未提供。