用途：为 LLM 应用建立系统化的评测策略，衡量性能、比较不同模型或提示词、在部署前检测性能退化、验证提示词改动带来的改进、建立基线并持续跟踪进展、调试异常模型行为。
主要能力：一是自动化指标，文本生成可用 BLEU、ROUGE、METEOR、BERTScore、Perplexity；分类可用准确率、精确率/召回率/F1、混淆矩阵、AUC-ROC；检索（RAG）可用 MRR、NDCG、Precision@K、Recall@K。二是人工评估，从准确性、连贯性、相关性、流畅性、安全性、有用性等维度打分。三是 LLM-as-Judge，支持单点打分、成对比较、有参考答案和无参考答案评审。四是 A/B 测试与统计分析，含 t 检验与 Cohen's d 效应量；以及回归检测与基准测试运行器。
使用方式：文档提供 EvaluationSuite、Metric 和自定义指标的示例接口，以及各指标的 Python 实现片段（如 sentence_bleu、rouge_scorer、bert_score），并配套 references/ 与 assets/、scripts/evaluate-model.py 等资源。
适用场景：LLM 应用上线前的质量把关、提示词迭代、模型选型、CI/CD 中的持续评测。
限制：资料未提供安装命令、依赖版本、具体收费信息，示例中涉及的模型与库需自行确认可用性；自定义指标如事实核查需依赖自有知识库，资料未给出完整实现。建议使用多种指标、代表性数据并保留基线，避免单一指标优化、样本过小与数据污染等常见问题。