用途：为 LLM 和智能体输出设计可信的评估流程，覆盖评分方法选择、评分准则（rubric）编写、变体排序与评审偏差控制。目标是得到可用于上线的评估：与人工标注校准、成本足够低可每次变更运行，并与成本、延迟一同跟踪。
主要能力：
- 选择评分方式：确定性程序化校验、LLM 作为评审、人工复核，或三者结合。
- 设计加权评分准则：3 到 6 个准则，各带权重、1-5（或 1-7）量表和每个分值的文字锚点。
- 成对比较排名：把 A/B 胜负记录转换为 Elo 与 Bradley-Terry 排名和胜率矩阵。
- 偏差控制：处理位置偏差（双向各跑一次，仅统计两次都胜出的）、冗长偏差（做长度归一化）、自偏好偏差（评审模型与受测模型不同族）。
必要用法（保持原样）： cd engineering/agentic-evaluation-framework python scripts/rubric_scorer.py --data rubric_scores.json python scripts/pairwise_ranking.py --data pairwise_matches.json python scripts/rubric_scorer.py --data rubric_scores.json --json
脚本特性：rubric_scorer.py 聚合各准则分数为加权总分、各准则均值、相对阈值的通过/失败及评分者间一致性；pairwise_ranking.py 支持 --k、--base、--json。两者仅用 Python 3 标准库，argparse CLI，支持人类可读与 --json 输出，只计算已有分数，不调用模型。
适用场景：评测集回归门禁、模型或提示词变体选型、评审校准、以质量/成本/延迟三者并列汇报决策。
限制：供应商与模型无关，不调用 API；需用户先提供“好”的定义、评分方法和人工标注的校准集，否则应向用户确认 2-3 个最关键的输入，不要自行假设。未提供具体模型、收费或平台信息。