SuperAPI AI 工具集

answer-audit

智能体与模型

查看项目

更新于 10-16 07:25

技能介绍

用途:对一份声称有引用的 RAG 答案做怀疑式审查,判断每个可核查的“原子信息”是否真的与语料一致。核心原则是“有依据≠准确”:引用存在不等于引用支持。

主要能力:把答案拆成可核查原子(数字、货币、单位、百分比、阈值、日期、专有名词、引语);逐字在语料中 grep/正则检索;对承载关键主张的语料段落与答案表述逐句比对;同时检查遗漏;并核对遥测(模型层级、尝试次数、送入的段落数)。

方法要点:不从记忆或模型自带的引用列表审计,直接取原始语料块文本。语料块文本位于 Qdrant payload 的 text 键,Postgres 只存元数据,没有 chunks 表。可用以下命令取语料: cd <repo> && DC="docker compose -f deploy/docker-compose.yml" $DC exec -T api bash -c ' exec 3<>/dev/tcp/qdrant/6333 B="{"limit":1000,"with_payload":true,"with_vector":false}" printf "POST /collections/kb_chunks/points/scroll HTTP/1.1\r\nHost: qdrant\r\nContent-Type: application/json\r\nContent-Length: %s\r\nConnection: close\r\n\r\n%s" "${#B}" "$B" >&3 cat <&3' | tail -1 > chunks.json 遥测可用: $DC exec -T postgres psql -U kb -d kb -tAc "select payload_json from audit_log where action='QUERY_ANSWERED' order by ts desc limit 1;" 其中 snippetCount 为送入模型的段落数,高 snippetCount 搭配弱层级模型是高风险配置。

失败清单(按名查找):无依据主张;单位/货币归一化;限定条件丢失;语义合并;选择性省略/乐观偏差;陈旧内容当现行;引用漂移;对规范性问题给出描述性答案。

输出要求:先给结论,再按严重程度列出缺陷,逐条把源文本与答案文本并列展示;说明已核实且无可指摘之处,并给出“有依据/总数”的计数;不加缓和与吹捧。

限制:资料未提供该技能的安装方式、依赖版本、收费与支持平台等信息;示例命令中的容器名、集合名与表名为资料原文所给,使用时需与自身部署一致。