用途
LLM-Based Relevance Scoring 用于为文本语料库中的单条内容分配 0-100 的相关性评分，使用大语言模型作为评判者，评估内容的实质而非表面信号。其核心原则是：一个校准良好、带有明确评分标准的 LLM 比临时启发式规则评分更一致，但分数只是测量值——不是绝对真理——需要校准、抽查和文档化的评分标准。
适用场景
- 文本条目语料库（帖子、评论、文章、评论、消息）需要质量或相关性排序
- 需要将实质性贡献与低投入内容（一句话回复、表情包、"+1" 回复）区分开
- 识别"权威峰值"——用户作为他人主要知识来源的内容
- 构建带检查点的批量处理评分流水线
- 需要可复现、有文档记录的评分标准，而非主观印象
不适用场景
- 语料库少于 20 条——人工审查更快更可靠
- 内容为非文本（图像、音频）且无转录
- 需要亚秒级延迟的实时评分（应使用启发式规则）
- 简单的关键词或正则过滤即可满足（不要用 LLM 做 grep 能做的事）
主要能力
评分标准（Rubric）
评分标准是最重要的产物，没有它分数毫无意义。技能提供五级评分标准模板：
- 0-19 噪声：无实质内容。表情包、单词回复、已删除/空、垃圾信息、离题。
- 20-39 低实质：极少原创思考。无推理的同意/反对，无普遍性见解的个人轶事。
- 40-59 中等：包含明确观点及部分支撑细节。切题、对讨论有贡献，但非主要来源。
- 60-79 高实质：原创分析、详细解释或多来源综合。展示专业知识或深度熟悉。
- 80-100 权威峰值：主要知识来源。原创研究、第一手专家证词、他人引用的综合。展示对主题的掌握。
评分标准设计规则：每个级别必须有具体、可观察的标准；标准必须适配领域；相邻级别之间的差距必须足够清晰，使两个人类 70% 以上时间能达成一致；在输出报告中记录评分标准。
少样本校准示例
从语料库中选择 5-10 条真实条目，覆盖完整分数范围，手动评分后作为校准锚点包含在每次评分提示中。选择标准：每个评分级别至少一个示例；选择分数明确的示例；优先使用实际语料库中的示例；包含一个看起来长但实质低的示例（测试长度偏差抵抗）。
LLM 评分环境配置
技能提供通过 Ollama 本地运行的 Python 代码示例，包括 score_with_ollama、build_scoring_prompt 和 parse_score_response 函数。推荐温度 0.1-0.3 以保证评分一致性。模型选择指导包括 Llama 3.1 8B、Llama 3.1 70B、Mistral 7B、GPT-4/GPT-4o、Claude 等，并说明各自的优势与限制。提供回退链：主用本地 Ollama 模型，回退到更小的本地模型，最后使用带速率限制的 API 模型；若无 LLM 可用，记录为"未评分"并继续流水线。
校准验证
在评分完整语料库之前，先在小集合上校准。技能提供 calibration_check 函数，计算 Cohen's kappa（分箱为 5 级）和平均绝对误差。目标：kappa > 0.7 且 MAE <= 15。校准程序：手动评分 20 条覆盖所有级别的条目；用 LLM 评分相同 20 条；计算 kappa 和 MAE；若未通过则修订评分标准措辞、调整示例、重新评分；重复直到通过；在报告中记录最终校准指标。若校准始终不通过，可简化为 3 级、使用更强模型，或接受较低校准并将所有分数标记为"近似"。
带检查点的批量评分
技能提供 batch_score 函数，支持检查点/恢复模式，每批 10-50 条，每批后写入检查点。
权威峰值检测
权威峰值是用户作为主要知识来源的内容。技能提供 detect_authority_peaks 函数，标准为：相关性分数 >= 阈值（默认 75）；包含原创信息；展示领域专业知识或第一手知识。权威峰值特征：高相关性分数是必要但不充分条件；寻找知识不对称；原创分析、第一手经验或主要来源综合；其他用户引用、建立或遵从该内容；长度不是可靠信号。
交叉验证与抽查
用第二个模型对随机 10% 样本评分，检查相关性。每批人工审查 5-10% 的已评分条目。
使用方式
技能提供完整的工作流清单：
- 定义评分标准
- 构建少样本校准示例
- 配置 LLM 评分环境
- 运行校准并验证
- 带检查点批量评分语料库
- 检测权威峰值
- 用第二模型交叉验证（可选但推荐）
- 人工抽查并调整
- 将发现写入 docs/analysis/06-llm-relevance-scoring.md
限制
- 分数是测量值而非绝对真理，需要校准、抽查和文档化评分标准
- 语料库少于 20 条时人工审查更可靠
- 非文本内容无转录时无法使用
- 需要亚秒级延迟的实时评分不适用
- 简单关键词或正则过滤即可满足的场景不应使用 LLM
- 校准可能因评分标准过于主观而无法通过
- 本地模型可能在细微权威检测上表现不佳
- API 模型涉及成本、速率限制和数据离开本机的问题