llm-evaluation

用途：对 LLM 输出进行质量评估与验证，用于质量保障，支持 LLM-as-judge 模式、AI 输出质量门禁和自动化评测流水线。主要能力：1）LLM-as-judge：用 LLM 评估其他 LLM 输出，可配置评判标准与维度打分（示例按 1-10 打分并归一化）；2）质量门禁：设定阈值（如 0.7）对完整质量评估取平均后判定通过与否；3）幻觉检测：检查输出中是否含有上下文不支持的断言；4）RAGAS 指标：Faithfulness（≥0.8）、Answer Relevancy（≥0.7）、Context Precision（≥0.7）、Context Recall（≥0.7）；5）批量评测与成对比较（A/B、偏好排序）。用法要点：评判模型与被评模型应不同（如用较小模型评判另一模型输出）；使用多维度评估而非单一维度；阈值不宜过高（0.7 用于生产、0.6 用于草稿）；样本量建议 50+。反模式明确禁止：同一模型既生成又评判、只用单一维度、阈值设为 0.95 等过高值。相关资源包括评估指标、模式示例、检查清单与评测脚本模板，并可与其他技能（质量门禁、可观测性、智能体循环）配合。限制：资料未提供具体安装命令、收费信息、支持平台及完整 API 细节；部分代码为示意性片段。