用途：该技能用于在研究环境中评估与基准测试大语言模型（LLM），帮助研究者选择合适的评测方式并规范地报告模型表现。
主要能力：提供评测分类体系，包括内在评测（困惑度、似然、校准）、外在评测（面向下游任务，如问答、摘要、分类）以及人工评估。整理各任务常用自动指标：语言建模用困惑度，机器翻译用 BLEU、COMET，摘要用 ROUGE-1/2/L，问答用 Exact Match、F1，分类用准确率、F1，生成质量用 BERTScore，事实性用 FActScore。同时列举主要基准套件：通用知识与推理（MMLU、HellaSwag、ARC、WinoGrande）、编程（HumanEval、MBPP、SWE-bench）、数学（GSM8K、MATH）、安全与对齐（TruthfulQA、BBQ、RealToxicityPrompts）、指令遵循（MT-Bench、AlpacaEval、Chatbot Arena）。还给出人工评估协议设计思路，包含评分维度（流畅度、相关性、正确性、有用性）、标注者间一致性指标与盲评、校准等做法。
使用方式：资料提供了简化版语料级 BLEU 计算示例与人工评估协议设计函数示例，可按需参考实现；具体安装与调用方式暂未提供。
适用场景：适用于需要横向比较模型、验证研究结论或撰写评测报告的学术与工程研究场景。
限制与注意事项：列出常见陷阱，包括数据污染、指标被“刷分”、选择性展示样例、忽略方差、比较条件不公平，并建议使用留出数据集、多指标结合人工评估、报告聚合指标与标准差、统一提示格式与超参数。发布结果时应报告模型名称与版本、参数量与架构、数据集及版本、完整提示词、few-shot 数量、解码参数、多项指标、置信区间或显著性检验，以及硬件与推理成本。除上述内容外，其余具体实现细节暂未提供。