用途：评估搜索、排序与 RAG 系统时，人工标注成本高、LLM 判定存在系统偏差。本技能让 Claude 实现 PRECISE 框架，用约 100 条人工标注查询与约 1 万条 LLM 判定查询，经预测驱动推断（PPI）得到无偏指标估计及有效置信区间，宣称降低约 95% 标注成本。
主要能力：支持 Precision@K、nDCG 等排序指标；通过 isotonic 回归对 LLM 置信度做校准；用 lambda 调优最小化方差；给出点估计、95% 置信区间与 LLM 偏差量；支持 A/B 对比的 uplift 估计及区间传播；子实例扩展将计算空间从 O(2^|C|) 降到 O(2^K)。核心估计式：mu_PPI = lambda*(1/N)*sum(phi_hat_unlabeled) + (1/n)sum(phi_gold - lambdaphi_hat_gold)。
使用方式：先在全量集上用 LLM 输出二值标签与置信度；随机抽样金标集并由人工标注同批 top-K 文档，确保金标是 LLM 判定集的子集；用金标拟合isotonic回归校准概率；分别计算金标与未标注集的逐查询指标；按 lambda_opt=Cov(phi_gold-lambda*phi_hat_gold, phi_hat_unlabeled)/Var(phi_hat_unlabeled) 截断到 [0,1] 调参；代入公式得估计，并按给定方差式构造置信区间；A/B 时对两臂各算一次再作差、方差相加。
适用场景：无法人工标注上千查询-结果对、已有 GPT-4/Claude 等 LLM 相关性标签、需要对 A/B 或 RAG 管线做可靠 uplift 估计、需要置信区间而非单点值、需要估算所需人工标注量。
限制：假设金标与未标注集同分布 i.i.d.，不同来源标注者会削弱偏差修正；仅适用于查询级可分解指标；O(2^K) 在 K≤15 可行，Precision@50 等需近似；只修正平均偏差而非实例条件偏差；假设二值相关性；金标少于 50 条时整流项方差过大，不优于纯金标估计；lambda 坍缩为 0 时退化为金标估计；金标须为 LLM 判定集子集，否则无法计算整流项。