SuperAPI AI 工具集

dag-hallucination-detector

智能体与模型

查看项目

更新于 10-15 20:30

技能介绍

用途:检测智能体(Agent)输出中看似合理但实际错误的内容,如捏造引用、虚假引文、编造统计、不存在的实体、错误事实与逻辑矛盾。

主要能力:一、引用核验:提取 URL、学术引用、带署名的引文,检查来源是否存在、引用是否准确、是否为捏造引用。二、事实断言检查:识别统计数字、日期、命名实体、事件、定义等可核实断言,与提供的基准事实交叉比对,标记无法核实的说法。三、一致性分析:检测内部矛盾(如数值前后不一致)与相互对立的断言。四、模式检测:识别常见的幻觉模式,如可疑的高精度数字、含糊的“研究表明”、通用匿名引语、虚构公司名等。

输出形式:生成幻觉报告,包含扫描时间、整体风险等级(low/medium/high/critical)、发现项列表(含类型、严重程度 warning/likely/confirmed、位置、断言、证据、置信度)、已验证断言、无法核实断言、汇总统计与修正建议。

使用方式:作为 DAG(有向无环图)中的检测节点接入。上游可由 dag-confidence-scorer 在置信度低时触发;下游可将结果交给 dag-feedback-synthesizer 生成修正提示;dag-pattern-learner 可用于跟踪学习幻觉模式。资料提供的是 TypeScript 接口与函数结构(如 verifyCitations、extractFactualClaims、checkInternalConsistency、detectHallucinationPatterns),未提供可直接运行的安装命令或调用命令,因此实际安装与运行步骤暂未提供。

适用场景:对研究、报告类文本输出进行发布前审核,尤其是在需要来源可追溯的场合。

限制:URL 网络核验需显式开启,否则只能做模式级判断;无基准事实时无法确认真伪,只能标记为无法核实;逻辑不可能性(如超过 100% 的百分比)与时间错误检查依赖规则,覆盖范围有限;检测结果属于概率判断,存在误报与漏报;资料未说明支持的语言、平台、收费与价格信息,暂未提供。