用途：Eval Genius 是一套评测方法论与技能包，用于判断 AI、LLM、智能体或检索系统是否需要评测、评测应放在开发流程的哪个阶段、该跑哪一种评测，以及如何解读结果。它把评测视为一项可被严格审查的主张：先声明承诺，提前固定标准，保持其他条件不变，先怀疑测量工具，再报告对自己不利的数字。
主要能力与流程：分为六步。Step 0 判断是否需要评测及所处阶段（探索阶段做抽查、首个可用版本做冒烟评测、单点改动做配对评测、合并或发布做 CI 门禁、对外比较做基准测试、生产环境做监控）；Step 1 基础，复制 templates/preregistration.md 并填写承诺、变量、位置、权重与标准；Step 2 选择评分器，优先确定性代码评分（精确匹配、正则、模式、测试套件、阈值），模型或人工评审仅用于断言覆盖不到的边缘情况，并区分报告各层结果；Step 3 决定自建还是采用现有基准，按 templates/benchmark-assessment-scorecard.md 评估；Step 4 在硬规则下运行，冻结夹具、三态结果、覆盖负空间、重复并展示离散度、验证验证器；Step 5 按顺序读结果；Step 6 如实报告。
随附资源：templates/ 中的模板复制到项目中使用而非就地编辑；scripts/ 为仅用标准库的 CLI，均支持 --help，失败时以可读信息非零退出，包括 check_gate.py（逐项对比处理组与基线，退出 0 PASS、1 FAIL、2 CANNOT-MEASURE，拒绝跨不匹配夹具或评审指纹的比较）、paired_bootstrap.py、judge_agreement.py、hash_fixture.py。按需加载 references/ 下的参考文件，不要一次性全部加载。
适用场景：提示与模型探索、首个可用版本、单点改动、合并与发布门禁、对外比较与基准测试、生产监控；也涵盖智能体、工具使用与多轮任务评测，以及无经验时阅读结果文件。
限制：资料未提供安装命令、依赖要求、平台与收费信息，暂未提供。它强调风险分层、按需加载参考文件，并列出需明确拒绝的反模式（如指标优先、标准事后确定、夹具漂移、静默崩溃、神谕式评审、跑到变绿为止、过拟合门禁集等）。源代码标注为 alexgreensh/eval-genius，Apache-2.0 许可。