SuperAPI AI 工具集

ai-stopping-hallucinations

数据与分析

查看项目

更新于 10-15 23:58

技能介绍

用途:帮助开发者让 AI 输出有事实依据,减少编造、无来源支撑的内容。核心原则是不直接信任模型裸输出,始终对照来源核验。

主要能力与用法:该技能基于 DSPy,给出多种反幻觉模式。1)引用强制:用 dspy.Refine 对答案打分,要求句子带 [1][2] 之类引用且编号在来源范围内,不达标重试。2)忠实度验证:生成后追加一次 LM 调用,检查每条主张是否被上下文支持,不支持则重试。3)自检:模型自查主张。4)交叉检查:用 dspy.BestOfN 独立多次生成,取最忠实结果,适合高风险输出。5)置信阈值:低置信结果标记 needs_review 交人工。6)来源加载:给出 VTT、LiveKit、Recall.ai、Langfuse 及分块函数示例。7)评估:定义忠实度与引用覆盖率指标,用 dspy.Evaluate 评估,并可用 BootstrapFewShot 优化。8)验证可用较便宜模型降低开销,也支持批量核验。

适用场景:有知识库、文档或转录稿的问答与摘要;事实要求高、幻觉代价大的输出。

限制:创意类任务(头脑风暴、虚构)不建议使用;简单抽取无需引用;无源文档时检索增强效果远好于自洽检查,可先考虑 /ai-searching-docs。资料未提供官方收费、价格、平台与效果数据。