用途：系统性衡量 LLM 应用表现，对比不同模型或提示词，部署前检测性能回归，验证提示词改动带来的改进，并为生产系统建立基线与持续追踪。
主要能力：
- 自动化指标：文本生成可用 BLEU、ROUGE、METEOR、BERTScore、Perplexity；分类可用准确率、精确率/召回率/F1、混淆矩阵、AUC-ROC；RAG 检索可用 MRR、NDCG、Precision@K、Recall@K。
- 人工评估：从准确性、连贯性、相关性、流畅度、安全性、有用性等维度打分，并可计算评分者间一致性（如 Cohen's kappa）。
- LLM-as-judge：用更强模型评判输出，支持 pointwise、pairwise、基于参考答案、无参考、基于评分细则、基于原则等做法；需注意位置偏差、冗长偏差与自我偏好偏差，可用交换顺序取平均、结构化评分细则、引入第三方裁判来缓解。
- RAG 专项评估（RAGAS）：faithfulness、answer_relevancy、context_precision、context_recall，分别用于检测幻觉、答非所问、检索无关与检索遗漏。
- 智能体任务评估：任务完成率、步骤效率、工具选择准确率、错误恢复、虚构工具调用等。
- A/B 测试与回归检测：用 t 检验、Cohen's d 等做统计显著性判断；按阈值检测指标相对基线的显著下降。
- 基准测试：在基准数据集上批量运行模型并计算指标。
使用方式：通过 EvaluationSuite 定义指标集合与测试用例后运行评估；也可单独调用 BLEU、ROUGE、BERTScore 或自定义指标函数；RAGAS 示例使用 from ragas import evaluate 与 from ragas.metrics import faithfulness, answer_relevancy, context_precision, context_recall，并用 datasets.Dataset 构造数据后调用 evaluate。
适用场景：模型与提示词选型、RAG 质量监控、智能体任务成功率衡量、结构化输出合规检查、生产部署前回归防护、A/B 实验分析。
限制：资料未提供具体安装命令、依赖版本、定价或平台信息；LLM-as-judge 存在偏差需缓解；部分自定义指标（如 factuality）仅给出思路未提供实现。