用途：系统化评测 LLM 应用，比较不同模型或提示词，部署前检测性能回归，验证提示词改动效果，并为生产系统建立基线、排查异常行为。不适用：与 LLM 评测无关的任务，或超出该范围的领域与工具。
主要能力：一是自动化指标，覆盖文本生成（BLEU、ROUGE、METEOR、BERTScore、Perplexity）、分类（准确率、精确率/召回率/F1、混淆矩阵、AUC-ROC）与检索 RAG（MRR、NDCG、Precision@K、Recall@K）。二是人工评测，按准确性、连贯性、相关性、流畅性、安全性、有用性打分。三是 LLM-as-Judge，支持单点打分、成对比较、基于参考与无参考判断。此外还提供自定义指标（如 groundedness、toxicity）、A/B 统计检验（t 检验、Cohen's d）、回归检测与基准测试运行。
使用方式：先明确目标、约束与所需输入，再套用最佳实践并验证结果。文档给出示例入口，如 from llm_eval import EvaluationSuite, Metric，定义 EvaluationSuite 与测试用例后调用 suite.evaluate(model=your_model, test_cases=test_cases)。具体指标可用 NLTK 计算 BLEU、rouge_score 计算 ROUGE、bert_score 计算 BERTScore。人工评测可用 AnnotationTask 生成打分表单，并用 sklearn 的 cohen_kappa_score 计算标注者一致性。
限制与注意：资料未提供安装命令、价格与平台支持信息，相关事实暂未提供。评测需使用代表性数据、设置基线、采用统计检验，并避免单一指标优化、样本过小、数据污染、忽略方差和指标与业务目标错配等常见问题。