用途：为机器学习研究提供严谨的大模型评测实践，涵盖基准选择、指标计算、可复现性与基线对比，偏重学术严谨而非榜单排名。适用于论文中的微调模型评估、架构消融对比，以及审阅稿件的评测部分。
主要能力与框架：EleutherAI lm-evaluation-harness 是学术 LLM 评测的事实标准，支持 60+ 任务。安装命令：pip install lm-eval。单基准运行：lm_eval --model hf --model_args pretrained=meta-llama/Llama-2-7b-hf --tasks mmlu --batch_size auto --output_path results/llama2-7b/。多基准运行：lm_eval --model hf --model_args pretrained=meta-llama/Llama-2-7b-hf --tasks mmlu,hellaswag,arc_challenge,winogrande,truthfulqa_mc2 --batch_size auto --num_fewshot 5 --output_path results/llama2-7b/。也提供 Python API：lm_eval.simple_evaluate(model="hf", model_args="pretrained=...", tasks=[...], num_fewshot=5, batch_size="auto", device="cuda")，结果存于 results["results"]。
基准选择：通用知识用 MMLU、ARC、TriviaQA；推理用 GSM8K、BBH、ARC-Challenge；编码用 HumanEval、MBPP、DS-1000；指令遵循用 MT-Bench、AlpacaEval、IFEval；安全用 TruthfulQA、ToxiGen、BBQ；多语言用 MGSM、XWinograd、FLORES；长上下文用 SCROLLS、LongBench、RULER；领域用 MedQA、LegalBench、SciQ。
核心基准：MMLU 含 57 学科 14,042 题，标准 5-shot，指标为学科宏平均准确率；GSM8K 含 8,792 道小学数学应用题，标准 8-shot 思维链，指标为最终答案精确匹配；HumanEval 含 164 道 Python 题，指标为 pass@k，pass@k = 1 - C(n-c, k) / C(n, k)。
常见陷阱与对策：数据污染需用 canary 字符串并报告污染分析（13-gram 重叠为 GPT-4 技术报告标准阈值）；提示敏感需报告 3+ 提示变体；few-shot 选择需固定随机种子；指标游戏需多指标并含校准；报告需给出多种子均值与标准差；版本不一致需固定数据集版本与提交哈希。
论文汇报：结果表应含模型、参数量及各基准分数与平均分，并注明 shot 数（如 MMLU 5-shot、GSM8K 8-shot CoT、HumanEval 0-shot、ARC-C 25-shot、HellaSwag 10-shot）与 3 个种子均值。最佳实践：报告评测框架精确版本（如 lm-eval v0.4.2）、沿用原论文 few-shot 数、至少 3 个随机种子、对新模型做污染分析、使用同一评测代码比较、报告推理细节（fp16/bf16/int8、上下文长度、解码策略）。
限制：本资料未提供具体收费、价格、平台与效果数据；未提供官方文档地址与许可证信息。