用途:os-eval-runner 是一个无状态评估引擎,用无头 Python 评估脚本对技能改进迭代进行评分与门禁判定,适用于技能自动改进与单次改动的质量验证。
主要能力:提供评分脚本 ./scripts/evaluate.py、./scripts/eval_runner.py,脚手架脚本 ./scripts/init_autoresearch.py,以及模板目录 ./assets/templates/autoresearch/。支持两种模式:Autoresearch Loop(自主迭代改进,识别失败类型、通过外部 proposer CLI 请求变体、循环评估直到预算或目标分数达成)与 Single-shot QA(对单个 diff 对照基线评估,决定 KEEP 即退出码 0 或 DISCARD 即回滚并退出码 1)。还包含过拟合门禁(holdout 集检查与强制丢弃)及自评调查环节。
使用方式:先做 Phase 0 接收面谈,确认目标技能路径、实验文件位置、优化指标、模式、迭代次数,以及 evals.json、program.md、基线分数是否存在,缺失时从模板脚手架。实验状态部署在目标侧,必须读取 <experiment-dir>/references/program.md 规格,不能回落到引擎本地配置模板。冒烟测试:python3 ./scripts/init_autoresearch.py --experiment-dir temp/test-exp --mutation-target SKILL.md,再用 python3 ./scripts/evaluate.py --skill temp/test-exp --baseline --desc "smoke test" 建立基线,确认 results.tsv 生成且退出码返回 0。
限制与注意:禁止对路由准确率做主观模拟审计,必须运行 Python 评估脚本;启动循环前若缺少 holdout 提示会绕过过拟合门禁,结果无效;frontmatter 中触发词过多会稀释语义区分度、降低路由精度。其他未提供细节暂未说明。