用途：系统化评估 LLM 输出，通过评分标准（rubric）打分、处理非确定性，并实现 LLM-as-judge 模式，适用于生产级 LLM 系统的质量把关。
核心观点：研究显示 95% 的输出方差来自两处——80% 来自提示词 token（措辞、结构、示例），15% 来自随机种子/采样；温度、模型版本等仅占 5%。因此评估重点应放在提示词质量，而非调模型参数。
主要能力：
- 多维度评分标准：不用单一分数，拆分为准确度(30%)、完整性(25%)、清晰度(20%)、简洁性(15%)、格式(10%)等维度并加权。
- 处理非确定性：多次运行（同一提示跑 3-5 次，报告均值与方差，标记高方差案例）；种子控制（temperature=0，记录种子）；统计显著性（配对比较，胜率需 70%+ 才判定“更好”，报告置信区间）。
- LLM-as-judge：用裁判 LLM 评估输出，建议用更强模型当裁判（如 Opus 评 Sonnet）。
- 测试用例设计：包含 id、input、expectedBehavior、rubric、groundTruth、metadata（category、difficulty、createdAt）。
包含内容：examples/（提示词 A/B 对比、跨模型评估、回归测试）、reference/（评分标准设计、LLM-as-judge、统计方法）、templates/（评分标准模板、裁判提示词、测试用例格式）、checklists/（评估设置、评分标准验证）。
使用方式：先定义评分标准，再创建测试用例，然后运行评估，例如 python evaluate.py --suite code-generation --runs 3，最后分析结果（低分维度、高方差案例、相对基线的回归）。可与 TDD 工作流、Pipeline 架构（acquire→prepare→process→parse→render→EVALUATE）及提示词工程配合。
适用场景：上线前测试新提示词、对比提示词变体、验证输出质量、检测回归、构建评估数据集、实现自动化质量门禁。
限制：资料未提供具体安装命令、依赖、收费与平台信息；评估效果依赖评分标准与测试用例质量。