用途
该仓库是论文《Improving Factuality and Reasoning in Language Models through Multiagent Debate》的初步实现，旨在通过多个语言模型实例之间的辩论来提高语言模型的事实性和推理能力。该项目被 ICML 2024 接收，由 Yilun Du、Shuang Li、Antonio Torralba、Joshua B. Tenenbaum 和 Igor Mordatch 共同完成。
主要能力
- 支持在多个任务上运行多智能体辩论实验，包括算术（math）、小学数学（GSM）、传记（biography）和 MMLU。
- 提供对应任务的生成脚本和评估脚本，用于生成答案并评估结果。
- 仓库中包含部分辩论日志，并提供了其他开源 LLM 上多智能体辩论实现的链接。
使用方式
代码按照任务分在不同子文件夹中：
./math/包含运行数学任务的代码。./gsm/包含运行 GSM 任务的代码。./biography/包含运行传记任务的代码。./mmlu/包含运行 MMLU 任务的代码。
具体运行命令：
- 数学问题：进入
math目录，运行python gen_math.py。 - 小学数学（GSM）：进入
gsm目录，生成答案运行python gen_gsm.py，评估结果运行python eval_gsm.py。GSM 数据集需从指定链接下载。 - 传记问题：进入
biography目录，生成答案运行python gen_conversation.py，评估结果运行python eval_conversation.py。 - MMLU：进入
MMLU目录，生成答案运行python gen_mmlu.py，评估结果运行python eval_mmlu.py。MMLU 数据集需从指定链接下载。
引用论文时，可使用仓库提供的 bibtex 文件。
适用场景
适合研究多智能体辩论机制、语言模型事实性与推理能力提升的研究人员和开发者。
限制
该仓库是初步实现，更多任务和设置将陆续发布，目前仅提供上述四类任务的代码。具体效果、收费、价格、平台等信息暂未提供。
