用途：为 AI 产品建立可衡量的评测基础设施，把质量判断从主观感受转为系统化、可重复的度量，用于持续监控与迭代。
主要能力：识别失败模式，对真实调用轨迹做错误分析；选择评测方法，按技术场景搭配人工、代码与 LLM 评审；构建黄金集，整理高质量参考样本作为基准；将评测接入 CI/CD 实现持续质量改进。还提供 LLM-as-a-Judge 手册、三种评测方法决策框架、评测提示词四段式公式、开放编码与轴心编码错误分析、RAG 检索器与生成器分离评测、评测改进飞轮、参考数据集结构（20-100 条示例）、智能体工作流转换失败矩阵等模板。
核心原则：自动化衡量核心价值链；重视主观卓越性而非二元检查；消除感觉式检查，建立可追踪指标；为评审 LLM 编写结构化提示词，明确角色、数据、成功标准与标签。
使用方式：先梳理用户在生产中遇到的 3-5 个主要失败模式，确定质量定义者，评估人工与自动化比例，判断非确定性来自检索还是生成，建立至少 20-50 条人工标注的黄金数据集，并衡量换模型或改系统提示词后的性能差异。
适用场景：AI 产品评测策略制定、RAG 系统诊断、智能体多步工作流调试、模型与提示词迭代对比。
限制：资料未提供具体安装命令、代码实现、收费方式或平台支持信息；内容以策略与模板为主，实际落地需结合自身业务数据。