LLM Evaluation 是一项面向 LLM 应用的综合评测技能，目标是帮助使用者建立从自动化指标到人工评估、A/B 测试的完整评测策略。
适用场景
- 系统化衡量 LLM 应用性能
- 比较不同模型或提示词
- 在部署前检测性能回退
- 验证提示词改动带来的改进
- 为生产系统建立信心
- 建立基线并跟踪随时间的变化
- 排查意外的模型行为
核心评测类型
- 自动化指标：快速、可重复、可扩展，通过计算得分完成评测。
- 文本生成：BLEU（N-gram 重叠，用于翻译）、ROUGE（面向召回，用于摘要）、METEOR（语义相似度）、BERTScore（基于嵌入的相似度）、Perplexity（语言模型置信度）。
- 分类：Accuracy（正确比例）、Precision/Recall/F1（各类别表现）、Confusion Matrix（错误模式）、AUC-ROC（排序质量）。
- 检索（RAG）：MRR（平均倒数排名）、NDCG（归一化折损累计增益）、Precision@K（前 K 个中的相关项）、Recall@K（前 K 个中的覆盖率）。
- 人工评估：针对难以自动化的质量维度进行人工判断。维度包括准确性（事实正确性）、连贯性（逻辑流畅）、相关性（是否回答问题）、流畅度（自然语言质量）、安全性（无有害内容）、有用性（对用户是否有帮助）。
- LLM-as-Judge：使用更强的 LLM 评估较弱模型的输出。方法包括逐点（为单个回答打分）、成对（比较两个回答）、基于参考（与金标准比较）、无参考（无需真实标注进行评判）。
使用方式 技能提供基于 Python 的评测套件示例。定义 Metric 数据类，包含 name 与 fn 字段，并提供 accuracy、bleu、bertscore 以及自定义指标的静态构造方法。EvaluationSuite 接收指标列表，通过异步 evaluate 方法遍历测试用例，调用 model.predict 获取预测，对每个指标计算得分，最后返回各指标均值（metrics）与原始分数（raw_scores）。示例用法中组合了 accuracy、bleu、bertscore 与自定义的 groundedness 指标，测试用例包含 input、expected、context 字段。
详细模式与完整示例文档位于 references/details.md，当上述导航信息不足时可查阅该文件。
限制 资料未提供具体的计费、价格、平台支持范围、安装步骤或性能数据，这些内容暂未提供。