用途:通过一道固定的糖果数学谜题评估 OpenAI Codex/GPT 模型,衡量推理 token 用量与答案是否正确,用于观察模型的性能退化(降智测试)模式。
主要能力:批量调用 Codex CLI 出题、按 low/medium/high/xhigh 四档推理强度运行、统计正确率、输出每轮推理 token 数与平均值。正确判定为响应中是否出现独立数字 21。无第三方依赖,仅用 Python 标准库并集成 Codex CLI。
必要用法:先安装并认证 Codex CLI,执行 codex auth login。 git clone https://github.com/haowang02/codex-candy-eval.git cd codex-candy-eval 常用命令: python codex_candy_eval.py python codex_candy_eval.py -m gpt-5.5 -r high python codex_candy_eval.py -n 10 python codex_candy_eval.py -m gpt-5.5 -r xhigh -n 20 参数:-m/--model 模型名;-r/--reasoning-effort 推理档位;-n/--tests 迭代次数(默认 1)。脚本读取 Codex CLI 默认配置,无额外配置文件。
题目:小明有 5 颗糖,小红比小明多 3 颗,小刚比小红多 2 倍。问小刚有多少颗糖?正确答案 21。
适用场景:对比不同模型或不同推理强度下的正确率与 token 消耗,做统计抽样(如 -n 100)。
限制:依赖已安装并认证的 Codex CLI;判定用正则 \b21\b,模型若以文字或其它格式作答可能误判;资料未提供价格、支持模型清单等其它信息。