用途：对大规模语言模型进行标准化基准评测，覆盖 MMLU、GSM8K、HellaSwag、TruthfulQA、ARC、HumanEval、MBPP 等 60+ 学术任务，适合比较模型质量、报告学术结果和跟踪训练进度。
安装与快速开始：pip install lm-eval。评测 HuggingFace 模型示例： lm_eval --model hf --model_args pretrained=meta-llama/Llama-2-7b-hf --tasks mmlu,gsm8k,hellaswag --device cuda:0 --batch_size 8 查看可用任务：lm_eval --tasks list 常用参数包括 --num_fewshot（如 5）、--output_path、--log_samples、--batch_size auto；量化可用 load_in_4bit 或 load_in_8bit。
主要能力：内置统一提示与指标，输出 JSON 结果；支持自定义 checkpoint、PyTorch Lightning 回调式周期评测、多模型批量评测并生成对比表；支持 vLLM 后端以加快推理，加速效果在资料中描述为 5-10 倍；可用 --allow_code_execution 执行 HumanEval 代码评测。
适用场景：论文基准报告、模型发布前评测、训练中 checkpoint 监控、多模型对比。
限制：MMLU 全量约 2 小时，HumanEval 需要安装 human-eval 并开启代码执行；显存要求上 7B 约 16GB（bf16）或 8GB（8 位），更大模型需多卡或量化；任务名与 fewshot 设置不同会导致结果差异。资料还提及自定义任务、API 评测和多 GPU 策略的参考文档，但未提供模型训练、收费与平台支持等细节。