用途：为 LLM 应用建立系统化评估策略，衡量性能、对比模型或提示词、在部署前发现回退、验证提示词改动效果、建立基线并追踪进展、排查异常模型行为。
主要能力：
- 自动化指标。文本生成可用 BLEU、ROUGE、METEOR、BERTScore、Perplexity；分类可用 Accuracy、Precision/Recall/F1、混淆矩阵、AUC-ROC；检索（RAG）可用 MRR、NDCG、Precision@K、Recall@K。也支持自定义指标，如 groundedness、toxicity、factuality。
- 人工评估。从准确性、连贯性、相关性、流畅度、安全性、有用性等维度打分，并提供标注表单与评分者一致性（Cohen's kappa）计算。
- LLM-as-Judge。用更强模型评估输出，支持单点打分、成对比较、有参考答案和无参考答案四种方式。
- A/B 测试。提供 t 检验、p 值、Cohen's d 效应量等统计分析。
- 回归检测与基准测试。按阈值检测指标下降，并在基准数据集上运行模型、聚合均值/标准差/极值。
使用方式：资料给出 Python 示例，如 from llm_eval import EvaluationSuite, Metric 定义评估套件，准备含 input、expected、context 的测试用例后调用 suite.evaluate(model=..., test_cases=...)。指标实现示例使用 nltk、rouge_score、bert_score、transformers、detoxify、scipy、sklearn 等库。
适用场景：LLM 应用性能测量、模型与提示词对比、部署前回归检查、RAG 检索质量评估、人工标注流程设计、CI/CD 持续评估。
限制：资料未提供该技能的安装命令、收费方式、支持平台及具体版本要求；示例中的模型名称与 API 调用仅为演示，实际可用性需自行确认。