用途：为 LLM 应用建立系统化评估策略，衡量性能、对比模型或提示词、在部署前发现性能回退、验证提示词改动效果、建立基线并跟踪进展、排查异常模型行为。
主要能力：
- 自动指标。文本生成可用 BLEU、ROUGE、METEOR、BERTScore、Perplexity；分类可用 Accuracy、Precision/Recall/F1、混淆矩阵、AUC-ROC；RAG 检索可用 MRR、NDCG、Precision@K、Recall@K。
- 人工评估。从准确性、连贯性、相关性、流畅度、安全性、有用性等维度打分，并提供标注表单与评分者一致性（Cohen's kappa）计算。
- LLM-as-Judge。支持单点打分、成对比较、有参考与无参考判断。
- A/B 测试。使用 t 检验、p 值、Cohen's d 效应量判断差异是否显著。
- 回归检测与基准测试。按阈值比较新旧结果，聚合均值、标准差、最小最大值。
使用方式：资料给出 Python 示例，如 from llm_eval import EvaluationSuite, Metric 定义评估套件，准备含 input、expected、context 的测试用例，调用 suite.evaluate(model=..., test_cases=...) 运行；也可用 nltk、rouge_score、bert_score、transformers、detoxify、scipy、sklearn 等库实现具体指标。工作流建议：先构建至少 50 条人工验证的“问题-答案-上下文”黄金集并加入对抗性场景，再在 CI/CD 中做组件级与持续评估并监控 token 成本，最后对低分样本做人工复核并回流反馈。
适用场景：模型或提示词选型、RAG 检索与生成质量评估、上线前回归测试、持续集成中的质量门禁。
限制：资料未提供具体安装命令、收费与价格、平台支持范围及实际效果数据；部分函数（如事实性校验）仅给出占位说明，需自行实现。常见陷阱包括只优化单一指标、样本量过小、数据污染和忽略方差。