用途：Auto Arena 用于在缺少现成测试集时，自动比较多个 AI 模型或智能体在指定任务上的表现。它基于 OpenJudge 的 AutoArenaPipeline，覆盖从生成查询到输出排名的端到端流程。
主要能力：根据任务描述由 LLM 生成多样化测试查询；并发查询所有目标端点收集回答；由 LLM 依据任务与样例查询生成评分标准；裁判模型对每一对模型进行成对评估，并交换位置以消除位置偏差；计算胜率、胜率矩阵与排名；生成 Markdown 报告、胜率柱状图，可选矩阵热力图。
使用方式：需先安装依赖，命令为 pip install py-openjudge，生成图表还需 pip install matplotlib。运行前需准备任务描述、至少两个 OpenAI 兼容端点、裁判端点与 API 密钥。CLI 示例：python -m cookbooks.auto_arena --config config.yaml --save；也可用 --queries_file 传入预生成查询，用 --fresh 忽略检查点，用 --rerun-judge 仅重跑成对评估。支持 Python API，可通过 AutoArenaPipeline.from_config 或直接构造管道并调用 evaluate()。配置项涵盖查询生成数量、并发、超时、重试、输出目录、报告语言与图表格式等。
适用场景：适合比较多个模型或智能体在客服、写作、研究等任务上的相对表现，尤其适合没有现成评测数据的场景。
限制：需要可用的 OpenAI 兼容端点与裁判模型；评测质量依赖任务描述与裁判模型；默认查询数为 20，报告语言默认中文；具体收费、价格与平台支持情况暂未提供。