InstructEval 是一个用于评估指令微调大语言模型的代码库，目标是在多个任务和模型之间提供简单、便捷的基准测试。
用途 该项目用于在留出任务（held-out tasks）上定量评估指令微调模型，例如 Alpaca 和 Flan-T5。指令微调模型被认为是以较低成本接近 ChatGPT 等大语言模型性能的方向，但不同模型之间的性能难以定性比较，因此该项目使用学术基准来衡量模型在大量未见且具有挑战性任务上的泛化能力。
主要能力 支持对多种模型进行基准测试，覆盖 HuggingFace Transformers 中的大多数模型：
- AutoModelForCausalLM：如 GPT-2、GPT-J、OPT-IML、BLOOMZ
- AutoModelForSeq2SeqLM：如 Flan-T5、Flan-UL2、TK-Instruct
- LlamaForCausalLM：如 LLaMA、Alpaca、Vicuna
评估基准包括：
- MMLU（Massive Multitask Language Understanding）：包含数学、历史、法律、医学等 57 个任务的考试题，使用 5-shot 直接提示，衡量 exact-match 分数。
- BBH（Big Bench Hard）：包含 23 个挑战性任务，PaLM（540B）在这些任务上的表现低于普通人类评分者，使用 3-shot 直接提示，衡量 exact-match 分数。
- DROP：数学问答基准，使用 3-shot 直接提示，衡量 exact-match 分数。
- HumanEval：包含 164 个 Python 编程问题，使用 0-shot 直接提示，衡量 pass@1 分数。
相关资源 项目提供论文、模型与排行榜链接。此外，项目页面还提到以下相关工作与资源：
- AlgoPuzzleVQA：针对 LLM 的 IQ 测试工作。
- Resta：语言模型的安全重新对齐工作，含论文与 GitHub。
- Red-Eval：LLM 安全评估基准，使用多种越狱提示评估安全性；据称在 DangerousQA 和 HarmfulQA 基准上，可对 GPT-4 实现 65.1% 的攻击成功率，对 ChatGPT 的越狱成功率为 73%。
- Flacuna：在 Flan collection 上微调 Vicuna-13B 得到的模型，据称在问题解决方面优于 Vicuna，模型地址为 https://huggingface.co/declare-lab/flacuna-13b-v1.0 。
- IMPACT：用于评估 LLM 写作能力的数据集，涵盖 Informative、Professional、Argumentative、Creative 四个方面，可从 Huggingface 下载：https://huggingface.co/datasets/declare-lab/InstructEvalImpact 。
- FLAN-T5 在文本到音频生成中的工作：https://github.com/declare-lab/tango 。
使用方式 资料中仅提及“Install dependencies and download data.”（安装依赖并下载数据），未提供具体的安装命令或使用步骤，因此暂未提供详细的使用方式。
适用场景 适用于需要定量比较不同指令微调模型在学术基准上表现的场景，例如研究人员、开发者评估模型在 MMLU、BBH、DROP、HumanEval 等任务上的泛化能力。相比 evaluation-harness 和 HELM 等现有库，该项目强调对多个模型的简单便捷评估。
限制 资料未说明具体的模型支持列表链接、安装依赖的具体命令、运行评估的详细步骤、硬件要求、许可证信息以及价格或收费模式，因此暂未提供。
