用途：Auto Benchmark 是持续、自主运行的基准测试闭环系统，按日程（每日、每周或触发式）监控竞争格局、从最新研究中提取洞见、提出并运行改进实验，使方案保持排行榜第一，减少人工跑基准的负担。
主要能力：系统以闭环运行，每轮回答“现在做什么能从当前排名升到第一”。阶段包括：竞争格局设置（用 competitive_registry.yaml 登记目标排行榜、抓取方式、主指标、竞品分数与胜利条件，如绝对排名、相对差距、持续保持）；竞争监控（抓取排行榜、对比快照、检测新进入者/分数提升/排名变化并发出差异报告、计算差距矩阵与触发逻辑）；研究摄取（配置 arXiv 查询、会议、竞品博客、引用追踪，对新论文做相关性筛选、技术提取、适用性评估并按影响/成本排序，记录到 research_log.md，逆向分析竞品架构）；假设生成（以 hypothesis 格式描述改进主张、目标排行榜、实现改动、成本与预估增益，按 priority_score 管理 experiment_queue.yaml，限制前 10 个活跃假设）；自动化实验（experiments 目录结构、runner 先快速验证再跑全量、结果写入 metrics.json、YAML 配置、锁定依赖、固定种子、确定性评估，并处理失败、低于基线、不确定结果）；晋升决策（主指标提升达阈值、配对 t 检验 p<0.05、次要指标无回退、≥3 个种子一致、排行榜投影达标才晋升，否则记录拒绝原因）；持续监控与防御（第一后防御模式，评测回归告警、关注 5% 内新进入者、被超越立即回到攻击模式）；利益相关者报告（每周摘要与 TECHNICAL_LOG.md 技术日志）。
使用方式：一次性设置需填充 competitive_registry.yaml、定义胜利条件、配置 research_config.yaml、设置调度器（cron/CI/Airflow/GitHub Actions）、部署并端到端测试 runner 脚本；每个自动周期验证抓取、差异报告、论文筛选、队列重排、运行最高优先级实验、晋升决策与日志，并发送每周摘要。
适用场景：需要持续跟踪竞品与排行榜、自动将研究转化为实验并维持排名的团队与研究者。
限制：资料未提供具体依赖、安装命令、定价、平台支持或实测效果；仅在差距 >5% 且无假设可弥合、竞品架构无法从公开来源逆向、晋升配置导致超出自动阈值的延迟或成本回退时升级人工。原则包括系统自行运行、排名为核心、紧急时速度优先、不在测试集上调参、决策可审计、失败实验也有价值。部分示例 URL、日期与分数为占位或示例，非真实数据。