用途：评估大语言模型（LLM）系统，确保生产环境的质量与安全。适用场景包括测试单个提示的正确性与格式、验证 RAG（检索增强生成）管线、测量幻觉/偏见/毒性、比较不同模型或提示配置（A/B 测试）、运行 MMLU/HumanEval 等基准、搭建生产监控，以及把质量检查接入 CI/CD。
评估策略选择：按任务类型选方法——分类任务用自动化指标（准确率、精确率、召回率、F1，scikit-learn）；生成任务用 LLM-as-judge 加 BLEU/ROUGE/BERTScore；问答用精确匹配加语义相似度；RAG 用 RAGAS（faithfulness 目标>0.8、答案相关性>0.7、上下文相关性>0.7、上下文精确率>0.5、上下文召回率>0.8）；代码生成用单元测试与执行（Pass@K）；多步智能体用任务完成率与工具准确率。按样本量分层：1000+ 用自动化指标，100-1000 用 LLM-as-judge，<100 用人工评估；推荐三层法：全量自动化指标、10% 抽样 LLM-as-judge、1% 人工复核。
主要能力：单元评估（精确匹配、正则、JSON Schema 校验、关键词存在、LLM 判定通过/失败）；RAG 评估；LLM-as-judge（与人工判断相关性 0.75-0.85，需注意位置偏差、冗长偏差、自我偏好）；安全与对齐评估（幻觉检测、偏见测试如 BBQ/BOLD、毒性检测如 Perspective API、Detoxify、OpenAI Moderation）；基准测试（MMLU、HellaSwag、GPQA、HumanEval、MATH，及医疗 MedQA、法律 LegalBench、金融 FinQA 等）；生产评估（A/B 测试、在线监控、人在回路）。
使用方式：Python 常用库安装命令为 pip install ragas、pip install deepeval、pip install langsmith、pip install lm-eval、pip install scikit-learn；基准运行示例为 lm_eval --model openai-chat --model_args model=gpt-4 --tasks mmlu --num_fewshot 5。资料还提供可执行脚本，如 python scripts/run_ragas_eval.py --dataset data/qa_dataset.json --output results.json 与 python scripts/compare_models.py --model-a gpt-4 --model-b claude-3-opus --tasks mmlu,humaneval。
限制与注意：生成类任务中 BLEU/ROUGE 与人工判断相关性弱，不宜单独依赖；LLM-as-judge 存在偏差，需清晰评分标准、少样本示例并多次取平均；资料未提供具体收费或价格信息。