用途：为含 LLM/AI 组件的产品建立系统化评估框架，衡量输出质量、发现回归并持续改进模型表现。适用于需要系统衡量 AI 输出质量、对比模型或提示词、部署前检测回归、对标竞品、向相关方解释 AI 决策等场景。
核心概念：AI 评估不同于传统测试。传统软件是确定性的（相同输入得到相同输出），而 AI/LLM 系统是概率性的（相同输入可能产生不同输出）。难点在于输出主观、无唯一正确答案、边界情况无穷、模型更新会改变行为。
主要能力与流程：
- 明确评估对象：分类任务（准确率、精确率、召回率、F1）、生成任务（质量分、人类偏好、任务成功率）、检索任务（相关性、NDCG、MRR）、推理任务（正确性、推理质量、逐步验证）。
- 构建评估数据集：黄金数据集需含已知正确输出。规模上最少 50–100 条，较好为 500–1000 条，生产级 5000–10000+ 条。构成建议：正常路径 40%、边界情况 30%、对抗输入 20%、失败案例 10%。来源包括用户日志、团队头脑风暴、合成生成、竞品对比、历史缺陷报告。
- 定义指标：定量指标含准确率类、质量类（连贯性、相关性、有用性、安全性、幻觉率）、任务成功类（完成率、满意度、重试率）、排序类（MRR、NDCG、Precision@K）；定性指标含成对比较、李克特量表、任务完成、红队评审。
- 自动化评估：采用 LLM-as-Judge 模式，用强模型按评分标准评估输出，优点是规模大、一致、快、便宜，缺点是并非完全可靠，需与人工评分对比验证（如一致率超过 70% 可认为可信）。
- 构建评估流水线：包含测试套件存储（JSON/CSV、版本控制、按类别打标签）、运行脚本、评分器、回归检测（与基线对比，如准确率下降超过 5% 告警）、报告看板。频率建议：部署前每次代码或提示词变更运行，每晚全量运行，每周人工抽查。
- 常见模式：推荐系统、内容审核、摘要、代码生成、对话式 AI 各有对应指标与数据集设计。
- A/B 测试：定义变体、随机分组、设定成功指标与最小样本量，追踪质量、延迟、成本、错误率与安全护栏，达到统计显著性（p<0.05）后决策。
常见误区：无黄金数据集、只测正常路径、仅人工评估、无回归检测、虚荣指标、对评估集过拟合。
工具：开源有 LangSmith、Prompt flow、Weights & Biases、Ragas；商业有 Anthropic Console、OpenAI Evals、HumanSignal。
限制：资料未提供具体安装命令、价格与平台细节；LLM 评判需人工验证，评估集需定期更新以避免过拟合。