用途：使用 openjudge 库为 RLHF 与 RLAIF 构建奖励信号，适用于 GRPO/REINFORCE 的 rollout 打分、DPO/IPO 的 (chosen, rejected) 偏好对生成、Best-of-N 候选选择、多维奖励塑形（正确性+安全+格式），以及用 LLM-as-judge 替代或引导奖励模型。
策略选择：可验证任务（数学、代码、结构化输出）用 pointwise，配合 FunctionGrader 得到精确分数且无 LLM 成本；主观任务（指令遵循、对话、摘要）的 GRPO 用 pairwise tournament，按组内净胜率给奖励；DPO/IPO/SLiC 需要偏好对时用 pairwise 双向比较返回胜者/败者；Best-of-N 或重排用 listwise 一次调用对 N 个候选排序。成本方面，低预算用 FunctionGrader 或小模型 pairwise；中等预算用 2–3 个 LLM grader 加 WeightedSumAggregator，或每组 N*(N-1)/2 次比较；高预算用 pointwise 投票（3–5 次）或强 judge 加去偏。
安装：pip install py-openjudge
评分归一化：不同 grader 分数量纲不同，需归一化后再输入 RL。LLM grader 常返回 1–5，可映射到 0–1；FunctionGrader 与文本 grader 已返回 0–1，无需归一化。
评估策略：来自 openjudge.evaluation_strategy。确定性 grader 用 Direct；LLM pointwise 在预算有限时用 Direct，离散分数用 Voting（多数投票，num_votes 取奇数避免平局），连续分数用 Average；pairwise GRPO 用 GRPOTournament，计算净胜率，设 debiased=True 可双向比较以缓解位置偏差，但调用次数翻倍。
限制：资料未提供具体价格、平台支持范围与效果数据；pairwise tournament 成本随组内样本数呈 N²/2 增长，listwise 成本中到高。