SuperAPI AI 工具集

ai-sre-incident-response

部署与运维

查看项目

更新于 10-15 17:24

技能介绍

用途:把传统 SRE 事故响应流程应用到 AI/LLM 系统,处理的不只是宕机,还包括答案质量下降、幻觉、不安全输出和 Token 成本暴涨。

事故分类:可用性事故(模型或供应商不可用、超时风暴)、质量事故(准确率或工具调用成功率低于 SLO)、安全事故(有害或违规输出增加)、成本事故(Token 或供应商费用异常飙升)。

严重级别:SEV1 用户可见中断、合规风险或数据泄露,5 分钟响应,呼叫值班与事故指挥官;SEV2 关键流程严重降级,15 分钟;SEV3 影响有限或仅内部问题,1 小时,走 Slack;SEV4 外观或低优先级回归,下一工作日开票。安全类事故最低从 Level 2 开始升级。

主要能力:提供 AI 服务的黄金信号(成功率、延迟、幻觉/落地性代理指标、每分钟与每租户成本、护栏违规率);给出 Prometheus 告警规则示例,如 ModelEndpointDown、HighHallucinationRate、TokenCostExplosion、LatencyP95Exceeded、GuardrailViolationSpike、ModelQualityDrop、ProviderErrorRateHigh,并附 PromQL 检测查询(成功率、单次成功回答成本、幻觉率趋势、各阶段延迟分解、租户成本榜)。

使用方式:按三类 Playbook 处置。模型宕机手册包含确认告警、查供应商状态页、curl 健康检查、启用降级路由(kubectl set env deployment/llm-gateway FALLBACK_ENABLED=true)、检查 Pod 与 GPU 日志、OOM 时 kubectl rollout restart、冻结部署(kubectl annotate deployment --all deploy-freeze=true -n ai)。质量回归手册包含定位受影响模型与路由、检查 24 小时内模型/提示/检索索引变更、回滚(kubectl rollout undo)或 git revert、提高采样率、运行离线评测(python run_evals.py --target prod --suite quality --compare baseline)。成本失控手册包含按租户/模型/路由查 Top 消费者、排查重试风暴与缺失 max_tokens、通过 ConfigMap 打补丁设限、启用语义缓存、切到更便宜模型、通知租户并开 Postmortem。

适用场景:已有 Prometheus、Alertmanager、Grafana、值班轮换、Runbook 仓库与模型/提示回滚机制(GitOps 或特性开关)的团队。限制与前置条件:需先具备上述监控、值班与回滚基础设施;量化阈值(如 15% 幻觉率、$0.50/min)为示例,需按实际调整;供应商状态页、内部 Runbook 与告警链接属占位示例,需自行替换。其他如具体安装命令、收费与价格信息暂未提供。