用途：帮助用户以证据而非直觉挑选模型，避免盲目跟随新模型宣传或花整天做基准测试。做法是在一个下午内，利用免费额度平台完成一次小规模、可证明不会超限的模型对比。
主要能力：收集用户任务中真正重要的 3-7 个真实示例提示词，每个都带已知正确答案或明确评分规则；挑选 2-4 个候选模型，其中包含当前正在使用的模型，以便“保持现状”也能成为有效结论；在运行前先声明选择标准（如精确匹配率、成对比较胜率、满足质量门槛下的延迟），先写标准可避免事后合理化。资料提到 GitHub Models（截至 2026-06）提供 45+ 模型，通过已有 GitHub 登录即可使用，顶级模型约 50 请求/天，适合做谨慎对比但不适合生产。
使用方式：创建 bakeoff.json 描述提示词、模型、选择标准和免费每日上限，再用 node 命令做算术校验，确保 提示词数 × 模型数 不超过每日免费上限，否则中途触及限流会得到有偏差的部分结果。示例校验命令为 node -e '...'，读取 bakeoff.json 并检查至少 2 个提示词、至少 2 个模型、已声明 select_by、调用数不超上限。验证通过后运行、打分、保留胜者，再把该工作负载迁移到能正式托管胜者的提供方。
适用场景：需要为某类具体任务（如工单摘要、字段抽取、意图分类、回复起草、情感评分）在预算或免费额度约束下比较模型；也适合定期复跑，观察托管模型漂移与价格变化。
限制：免费层仅用于决策而非生产服务，顶级模型约 10 请求/分钟、50 请求/天，上下文约 8k 输入、4k 输出，提示词需保持紧凑。用 LLM 评分会继承评分者的盲点，尤其当评分者与参赛模型同属一个家族时，因此有具体指标（精确匹配、模式有效、测试通过）时应优先使用。单次对比只是快照，选择持续重要时应按周期重跑。资料未提供具体的生产托管方案、价格或其他平台细节。