llm-evaluation

用途：为 LLM 应用建立系统化评估策略，衡量性能、对比不同模型或提示词、在部署前发现性能退化、验证提示词改动带来的提升，并建立基线持续跟踪。

主要能力：

1. 自动化指标。文本生成可用 BLEU、ROUGE、METEOR、BERTScore、Perplexity；分类可用 Accuracy、Precision/Recall/F1、混淆矩阵、AUC-ROC；RAG 检索可用 MRR、NDCG、Precision@K、Recall@K。
2. 人工评估。围绕准确性、连贯性、相关性、流畅性、安全性、有用性等维度打分，并提供标注表单与评分者一致性（Cohen's kappa）计算。
3. LLM-as-Judge。支持单点打分、成对比较、基于参考与无参考判断。
4. A/B 测试与回归检测。使用 t 检验、Cohen's d 效应量判断显著性，并按阈值检测指标下降。
5. 基准测试。在数据集上批量运行模型并聚合均值、标准差、最小值和最大值。

使用方式：资料给出 EvaluationSuite 与 Metric 的快速开始示例，以及 BLEU、ROUGE、BERTScore、自定义指标（groundedness、toxicity、factuality）、LLM 评判、标注任务、A/B 测试、回归检测和基准运行器的代码片段。示例中出现的命令与代码需按原样使用。

适用场景：LLM 应用上线前验证、模型与提示词选型、CI/CD 持续评估、错误分析与版本对比。

限制：资料未提供具体安装命令、依赖版本、收费方式与平台支持信息；部分示例（如 factuality 校验）仅给出占位说明，未提供完整实现。