用途:为 AI 功能编写 SLO 文档,是 SaaS SLO 文档的 AI 补充,将幻觉、引用、弃答和安全违规视为一等 SLI,并配错误预算与回滚规则。
主要能力:按 AI 功能盘点 SLI,包括事实性(judge-LLM 判定全部主张有据的响应占比)、引用准确性(仅 RAG,引用与源片段在容差内匹配的占比)、弃答精确率与召回率、安全违规(每百万次调用命中内容策略或 PII 过滤的数量)、延迟与每次调用成本。规定测量来源与抽样方式:事实性与引用由生产样本每晚经 judge-LLM 回放;弃答按弃答载荷分类并每月人工抽查;安全违规在内容过滤器计数并逐次告警。按功能与层级设定目标:免费层事实性≥0.85、弃答精确率≥0.70;Pro 层≥0.92、引用≥0.90、弃答≥0.80;企业层≥0.95、引用≥0.95、弃答≥0.85;安全违规各层均为 0。错误预算用 (1 - SLO) × 窗口内调用数,安全违规为零预算,任何突破即 SEV1。多燃烧率告警:快燃 14×/1 小时/月预算 2%,中燃 6×/6 小时/5%,慢燃 1×/3 天/10%,安全违规任意即告警。冻结与回滚:预算耗尽冻结提示词与模型变更,评测提升需高管批准;引用准确性 24 小时内下降超 5 个百分点自动回滚到最近绿色提示词标签;安全违规暂停功能、SEV1、事后复盘,若来自上游则升级供应商。还定义面向客户的 AI 质量承诺与幻觉上报路径(标记按钮→工单→复核)。
使用方式:按步骤执行并输出 AI_Hallucination_SLO_Doc.md,含 AI SLI 清单、测量程序、每功能 SLO 目标、错误预算、燃烧率告警、冻结与回滚规则、客户承诺、评审节奏八节。
适用场景:AI 功能上线后的可靠性治理与合规评估。限制:资料未提供具体安装命令、运行环境与价格信息。