用途：该技能面向LLM应用的系统化评测，覆盖从自动指标、人工评价到A/B测试的多种策略，适用于衡量应用性能、比较模型或提示、上线前检测性能退化、验证提示改动效果、建立基线并跟踪进展，以及调试异常模型行为。
主要能力：一、自动指标。文本生成可用BLEU、ROUGE、METEOR、BERTScore、Perplexity；分类可用Accuracy、Precision/Recall/F1、混淆矩阵、AUC-ROC；检索（RAG）可用MRR、NDCG、Precision@K、Recall@K。二、人工评价。围绕准确性、连贯性、相关性、流畅度、安全性、有用性等维度评估难以自动化的质量。三、LLM-as-Judge。用更强的LLM评估较弱模型输出，支持单点打分、成对比较、基于参考答案和无参考答案四种方式。四、A/B测试与回归检测。提供T检验、Cohen's d效应量与相对改进计算，并可基于基线阈值检测指标回退。五、基准测试与LangSmith集成，支持数据集创建、评估器运行与聚合指标输出。
使用方式：资料给出可复用的EvaluationSuite结构，先定义Metric（如accuracy、bleu、bertscore或自定义函数），再传入model与test_cases执行evaluate，返回各指标均值与原始分数；也给出BLEU、ROUGE、BERTScore、groundedness、toxicity、factuality等实现，以及使用Anthropic客户端构建LLM评审的示例与LangSmith数据集、评估器、evaluate调用样例。
适用场景：提示与模型选型、RAG检索质量评估、内容安全与事实性检查、上线前回归防线、实验版本对比。
限制：需自行准备测试集和依赖库；LLM评审可能引入偏差，人工评价存在评分者一致性问题（可用Cohen's kappa衡量）；统计显著不等于实际收益；具体模型版本、阈值和运行环境需结合自身情况调整。资料未提供安装命令、定价与平台支持信息。