用途：为 LLM 系统端到端设计评测框架，明确“好”的标准，构建覆盖能力与失败模式的测试集，设计人工评分量表，实现自动化评测流水线，并随模型与 Prompt 变化跟踪质量。
主要能力：定义评测目标与范围（能力、质量、安全、鲁棒性），设计测试用例类别（典型、边界、对抗、超范围、回归），选择指标（分类用精确率/召回率/F1，有参考生成用 ROUGE/BLEU/BERTScore，无参考生成用 LLM-as-judge 或人工评分，安全用通过率与拒答率，RAG 用忠实度、答案相关性、上下文召回），编写 3–5 维度 1–5 分量表，构建自动化流水线并记录模型版本、Prompt 哈希、时间戳，实现并校准 LLM-as-a-judge（与人工标注相关性 > 0.7），设计安全评测，设置阈值与 CI/CD 回归门禁，用 50–100 条人工评测校准，编写文档。
使用方式：作为技能在构建评测框架时调用；可用 promptfoo 或 langsmith 作为流水线基础设施；安全检测可运行 bandit -r /tmp/eval_code.py -f json 或 Semgrep；建议最小可行评测为 20 条测试用例、一个自动指标、一次人工检查。
适用场景：LLM 功能首次上线前、Prompt 或模型变更的 CI/CD、人工标注量表设计、安全与越狱测试、模型升级后的质量回归、无明确标准答案任务的 LLM-as-judge、A/B 测试前建立基线、审计既有评测覆盖。
限制：不用于训练或微调、训练数据集收集、公共基准比较、产品分析或负载性能测试；本资料未提供具体收费、价格与平台支持信息。