用途：系统化衡量LLM应用性能，比较模型与提示词，部署前发现性能回归，验证提示词改动的效果，建立基线并跟踪进展，以及调试异常模型行为。不适用于与LLM评测无关的领域任务。
主要能力： 自动化指标——文本生成可用BLEU、ROUGE、METEOR、BERTScore、Perplexity；分类可用Accuracy、Precision/Recall/F1、混淆矩阵、AUC-ROC；检索（RAG）可用MRR、NDCG、Precision@K、Recall@K，也可自定义指标如groundedness、toxicity、factuality。 人工评估——按Accuracy、Coherence、Relevance、Fluency、Safety、Helpfulness等维度打分，并提供标注指南与Cohen's kappa一致性分析。 LLM-as-Judge——点对点评分、成对比较、基于参考或无参考判断。 A/B测试——t检验、p值、Cohen's d效应量分析。 回归检测——对比基线结果，按阈值标记性能下降。 基准测试——在数据集上运行模型并聚合均值、标准差、最小/最大值。
使用方式：技能说明通过EvaluationSuite定义指标，准备含input、expected、context的测试用例后调用evaluate运行。资源文件包括references/metrics.md、references/human-evaluation.md、references/benchmarking.md、references/a-b-testing.md、references/regression-testing.md，assets/evaluation-framework.py、assets/benchmark-dataset.jsonl，以及scripts/evaluate-model.py。
适用场景：评估指标构建、模型与提示词对比、CI/CD持续评测、上线前回归检查。
限制与最佳实践：建议使用多指标、代表性数据、基线和统计检验，结合人工验证，控制版本并跟踪结果。资料未提供具体价格、收费或平台支持信息。