SuperAPI AI 工具集

llm-hallucination-testing

测试与质量

查看项目

更新于 10-16 06:50

技能介绍

用途:该技能用于对 Agent、RAG 或 LLM 的计划、结果与证据集做证据边界内的分析、设计与验证准备,重点处理声明与来源关系、无支撑断言、弃答、不确定性和证据审查。

主要能力:将可独立核查的声明(数字与单位、实体、条件、日期、引用)拆分并编号,保留原始答案文本与证据版本/位置;分别检查引用是否存在、可访问、相关以及是否支持声明;用 SUPPORTED、CONTRADICTED、MISSING_SOURCE、UNASSESSABLE 标注证据状态,并保留声明分母,区分已支持比例与未知比例。

使用方式:先阅读并遵循 prompts/llm-hallucination-testing.md,按其输入审计、领域覆盖与输出顺序执行;提取范围、环境、版本、时间窗、约束、成功标准与可用证据;将确认事实、有证据的推断、候选建议与人工决策分开,再按风险与证据强度排序;高风险项转为前置条件、步骤、预期行为或决策标准、所需证据与验证方法。默认输出 Markdown,按领域风险、证据状态、优先级与边界组织;用户要求表格、CSV、JSON 或工单字段时保留相同字段与决策边界,机器消费前确认 schema、枚举、必填字段与证据来源。可参考 references/domain-decision-example.md 校准领域结果与证据缺口,评估时读取 evals/eval.yaml 及 evals/cases/ 下匹配用例。

适用场景:审查 LLM/RAG/Agent 输出中的引用与断言,准备幻觉相关验证计划,或在上下文不完整时做有边界的首轮分析。

限制:不替代业务负责人或人工风险接受、例外审批与安全决策;不得编造系统行为、字段、模型输出、数据、阈值、根因、执行记录或通过结论;静态设计、计划、文件存在或 dry run 不能作为真实执行证据;证据不足时使用待确认、阻塞、未评估或 NOT_SCORED,并给出最小验证方法;涉及用户数据、生产或安全工作时使用最小权限、脱敏、模拟、dry run 或隔离。