BIG-bench（Beyond the Imitation Game Benchmark）是一个协作式基准测试，用于衡量和推测语言模型的能力。该基准包含超过 200 个任务，任务可按关键词和任务名称进行汇总。项目有一篇介绍该基准的论文，包含对大型语言模型的评估结果，目前正在评审中，并已作为预印本提供。
用途：BIG-bench 主要用于探测大型语言模型的能力，并为其未来能力的外推提供参考。它面向语言模型研究者、开发者以及希望评估模型性能的团队。
主要能力：基准包含两类任务：简化任务（由 JSON 文件定义）和程序化任务（可通过代码与语言模型进行更复杂的交互，例如多轮查询）。BIG-bench Lite（BBL）是 BIG-bench 的一个小型子集，包含 24 个多样化的 JSON 任务，设计为以远低于完整基准的成本提供模型性能的典型度量，并设有排行榜。
使用方式：用户可以通过创建任务来为基准做贡献。创建 JSON 任务时，需在 bigbench/benchmark_tasks/TASK_NAME 目录下放置 README.md 和 task.json 文件，定义输入/目标输出对或多选目标。创建程序化任务时，需定义 task.py 文件，实现 evaluate_model 方法，通过 model.generate_text() 和 model.cond_log_prob() 与模型交互，并返回 ScoreData 对象。提交模型评估结果时，需按照详细说明操作，评估结果将出现在性能图中。项目提供了快速入门 Colab 笔记本，用于加载和评估 BIG-bench JSON 任务，以及创建新任务的轻量级流程。使用 SeqIO 可以加载和检查 BIG-bench JSON 任务（目前仅支持 JSON 任务，不支持程序化任务）。安装 BIG-bench 需要克隆仓库并设置环境，运行自动测试需使用 pytest。
适用场景：适用于语言模型能力评估、跨语言任务测试、模型性能对比研究，以及协作式基准任务开发。
限制：SeqIO 目前仅支持通过 JSON 定义的任务，不支持程序化任务。程序化任务的函数签名有即将到来的变更，开发者需注意在任务中支持新功能。评估可能耗时较长，取决于硬件和任务规模。支持的外部包列表有限，新增包需逐案评估。基准任务文件中的 canary 字符串不可编辑，以防止任务泄露到网页抓取的训练数据中。
暂未提供：具体的收费或价格信息、平台要求、详细的使用效果数据（论文仍在评审中）。
