AlpacaEval 是一个用于指令跟随语言模型的自动评估器，由 Tatsu-lab 开发并维护。其官方页面为 https://tatsu-lab.github.io/alpaca_eval/。
用途：AlpacaEval 旨在提供一种快速、低成本且可靠的基于大语言模型的自动评估方法，用于比较不同模型在遵循一般用户指令方面的能力。它基于 AlpacaFarm 评估集，该评估集测试模型遵循一般用户指令的能力。
主要能力：AlpacaEval 通过将模型生成的响应与参考响应进行比较来评估模型。对于 AlpacaEval，参考响应来自 Davinci003；对于 AlpacaEval 2.0，参考响应来自 GPT-4 Preview。比较由提供的基于 GPT-4 的自动标注器完成，最终得出胜率。官方文档指出，AlpacaEval 与真实人类标注具有高一致率，且其排行榜排名与基于人类标注的排行榜排名高度相关。
使用方式：社区成员可以向排行榜贡献新模型。具体步骤包括：在评估集上运行模型，对输出进行自动标注，然后提交包含模型配置和排行榜结果的 PR。官方还提供了 Discord 用于社区支持和讨论。此外，社区也可以贡献新的评估器或新的评估集。对于新评估器，官方发布了真实人类标注和比较指标；对于新评估集，官方发布了粗略指南。官方特别鼓励贡献更难的指令分布以及针对大语言模型的安全性测试。
适用场景：AlpacaEval 适用于需要快速、低成本地比较不同指令跟随语言模型能力的场景，例如模型开发过程中的迭代评估、排行榜排名比较等。
限制：AlpacaEval 并非全面或金标准的模型能力评估。根据 AlpacaFarm 论文，自动标注器的胜率与回答长度相关。虽然人类标注也表现出这种偏差，但更冗长的回答是否在下游任务中增加效用尚不清楚。此外，AlpacaFarm 评估集虽然多样，但主要由简单指令组成。官方鼓励社区贡献新的、更复杂的评估集，例如用于工具使用的评估集。最后，AlpacaEval 不评估任何模型的安全性。
