SuperAPI AI 工具集

predictive-coding-information-bottleneck

测试与质量

查看项目

更新于 10-16 01:34

技能介绍

用途:面向 RAG 与 LLM 生成内容,构建基于预测编码(Predictive Coding)与信息瓶颈(Information Bottleneck)的幻觉检测系统,用轻量信号替代昂贵的 LLM 评委或缓慢检索循环,适用于客服、医疗摘要、法律分析等实时质量门禁,也用于审计既有系统为何产生幻觉。

主要能力:从答案中提取四类信号——Uptake(在仅问题与问题+上下文的分布间做 KL 散度,衡量上下文是否真正影响输出)、Stress(对拆解出的断言在温度 0.7 生成 K=5 个改写,用 NLI 计算蕴含概率的 JS 散度,衡量语义稳定性)、Conflict(改写后矛盾概率的最大值,衡量逻辑一致性)、Falsifiability(结合“definitely/certainly”等确定语气与矛盾,衡量自信下的矛盾)。另含实体加权 Uptake、Context Adherence、ESI 证据充分度指数,最终堆叠为 7-8 维特征交给 Random Forest 分类,输出二值判定与逐信号解释。资料称约 0.87 AUROC、5ms 推理、训练数据比同类方法少约 75 倍,200 条平衡样本即可训练。

使用方式:将每个查询组织为(Q, C, A)三元组;取词级对数概率算 Uptake;用 LLM 拆解原子断言;用 NLI 模型(如 cross-encoder/nli-deberta-v3-base)与改写算 Stress/Conflict;用 spaCy 抽取实体后加权;统计确定/模糊语气词算 Falsifiability;用 sklearn 的 RandomForestClassifier(n_estimators=100, max_depth=10) 训练并 joblib 保存;生产上设阈值(如 >0.6 判为幻觉),可做两级路由,把 0.4-0.6 的灰区交给 LLM 评委。

限制:必须有源上下文,无法检测无参考的开放式生成;Stress/Conflict 受 NLI 模型精度上限约束,专业领域可能需微调;论文仅在 HaluBench n=200 上评估,更大规模与专业领域表现未验证;实体抽取、语气词与 NLI 偏英语;扰动步骤需多次 LLM 调用;不建议用思维链自检(Rationalization),资料指出其无效。具体收费、价格、平台等信息暂未提供。