用途：lm-evaluation-harness 用标准化提示与指标在 60 多个学术基准上评测大语言模型，适合模型质量基准测试、模型对比、报告学术结果和跟踪训练进度。
主要能力：覆盖 MMLU（57 个学科选择题）、GSM8K（小学数学应用题）、HellaSwag（常识推理）、TruthfulQA（真实性）、ARC（科学题）等推理基准，以及 HumanEval、MBPP 等代码基准。支持 HuggingFace 模型、量化模型（4-bit/8-bit）、自定义 checkpoint、vLLM 后端和 API 模型。
使用方式：安装 pip install lm-eval；查看任务用 lm-eval ls tasks；评测示例：lm_eval --model hf --model_args pretrained=meta-llama/Llama-2-7b-hf --tasks mmlu,gsm8k,hellaswag --device cuda:0 --batch_size 8。可用 --num_fewshot 设置少样本数，--output_path 保存结果，--log_samples 保存单条预测。vLLM 后端示例：lm_eval --model vllm --model_args pretrained=meta-llama/Llama-2-7b-hf,tensor_parallel_size=1,dtype=auto,gpu_memory_utilization=0.8 --tasks mmlu --batch_size auto。
适用场景：学术论文基准、跨模型质量对比、训练中定期评测 checkpoint、报告统一指标。
限制：代码执行类任务（HumanEval、MBPP）需显式加 --confirm_run_unsafe_code 才会运行，否则拒绝执行；MMLU 全量约 2 小时，HumanEval 需代码执行；显存需求随模型规模上升，70B 需多 GPU 或量化；结果差异需核对 fewshot 数与任务名。硬件、价格与平台支持等更多细节暂未提供。