SuperAPI AI 工具集

deepera-deep-evidence-reranking

智能体与模型

查看项目

更新于 10-16 01:34

技能介绍

用途:在 RAG 检索后阶段对候选段落做基于推理的重排。传统交叉编码器重排器只看查询与段落的整体相关性打分,容易被关键词重叠误导;本技能改为让模型对每个段落做结构化思维链评估,判断其是否在逻辑上真正支撑回答。

主要能力:先把查询拆解为核心信息需求,再按四个维度评估每个候选段落——是否直接回应查询、内部事实是否一致、是否提供可支撑答案的具体证据、若仅以此段落作上下文能否生成正确回答。随后给出 STRONG SUPPORT、WEAK SUPPORT、IRRELEVANT 或 MISLEADING 的判定并附一句理由,显式标记 SSLI 段落,按判定层级与证据密度重排,最终返回前若干条(通常 3-5 条)供生成器使用。

使用方式:接收查询与一阶段检索器(如 BM25、FAISS 或稠密编码器)返回的 10-50 条候选,逐条调用 LLM 评估并解析判定,按 VERDICT_RANK 排序后取 top-k。示例实现用 json 与 openai 客户端,提示词要求返回 direct_relevance、logical_consistency、evidence_grounding、generation_utility、verdict、justification、ssli_flag 字段,temperature 设为 0。

适用场景:两阶段 RAG 管线优化;科学问答等对精确率要求高的任务;生成器频繁被看似相关的段落误导时;需要对检索结果做 LLM-as-judge 重排或诊断现有管线 SSLI 污染率时。

限制:推理式重排延迟明显高于交叉编码器,不适合要求亚 100 毫秒的实时搜索;效果受底层 LLM 推理能力与领域知识限制;无法找回一阶段检索完全遗漏的相关段落;每查询评估 50 条以上不现实,建议只对预筛选后的 10-20 条做精确重排。资料未提供具体收费标准、平台支持范围与安装步骤。