SuperAPI AI 工具集

ai-sre-incident-response

通用与其它

查看项目

更新于 10-16 06:13

技能介绍

用途:把传统 SRE 的事件响应方法用于 AI/LLM 系统,应对模型或服务商不可用、答案质量下降、安全策略违例输出增加、Token 费用激增等 AI 特有故障。

主要能力:定义四类事件(可用性、质量、安全、成本)与 SEV1–SEV4 分级、响应时间和通知方式;给出 AI 服务黄金指标(请求成功率、延迟、幻觉/有据性代理指标、单位时间与租户成本、护栏违规率);提供 Prometheus 告警规则示例(ModelEndpointDown、HighHallucinationRate、TokenCostExplosion、LatencyP95Exceeded、GuardrailViolationSpike、ModelQualityDrop、ProviderErrorRateHigh);给出模型宕机、质量回归、成本爆炸三套响应预案,以及升级路径、PromQL 检测查询、复盘要求与模板、混沌演练和故障排查表。

使用方式:需具备 Prometheus/Alertmanager 抓取目标、Grafana 大盘、PagerDuty 等值班、可访问的运行手册仓库,以及模型与提示词版本的 GitOps 或特性开关回滚机制。示例命令包括 kubectl set env deployment/llm-gateway FALLBACK_ENABLED=true、kubectl rollout undo deployment/llm-inference -n ai、git revert <commit> && git push、python run_evals.py --target prod --suite quality --compare baseline。阈值均为示例,需按 SLO、租户预算与指标单位校准。

适用场景:LLM 接口质量退化或幻觉、服务商故障需故障转移、护栏命中率异常、模型发布引发延迟或准确率回归、Token 花费超预算。

限制:仅文档导入,不含上游脚本与模板,也未提供具体价格或平台信息;指南针对真实环境执行,操作前须确认目标、影响范围与回滚方案,未经明确批准不得部署到生产。有据性代理指标并非经验证的质量度量。安全事件升级至少从二级开始。