用途
SRE Dashboards 用于设计并运营 SRE 仪表盘,让团队能够检测、分诊并预防可靠性事故。它适用于以下场景:为生产系统定义服务级仪表盘、跟踪 SLO 健康度与错误预算燃烧、创建事故指挥中心视图、在团队之间统一仪表盘模式。
主要能力
该技能围绕分层仪表盘架构组织内容:
- 高管可靠性视图:SLO 达成率、事故数量、MTTR 趋势。
- 服务健康视图:RED/USE 指标、依赖健康、发布标记。
- 深度排查视图:按端点的延迟、资源饱和度、错误分类。
每个视图都要求以回答问题为导向:客户是否受到影响?发生了什么变化?瓶颈在哪里?
核心 SRE 面板包括:
- 黄金信号:延迟(按端点的 p50/p95/p99 请求时长)、流量(请求吞吐量与队列深度)、错误(5xx 比率、失败任务、超时比率)、饱和度(CPU、内存、磁盘 I/O、线程/连接池耗尽)。
- SLO 面板:当前 SLI 值(滚动窗口 5m、1h、24h、30d)、错误预算剩余百分比、燃烧率面板(快窗口与慢窗口)、多窗口燃烧告警状态。
- 变更关联:部署标记与配置变更注释、功能开关状态叠加、上游/下游依赖错误率。
技能还提供 PromQL 示例片段,例如 API 错误率、按路由的 p95 延迟、快燃烧率(5m/1h)等查询写法。
使用方式
该技能以文档形式提供指导,包含运维规范与排查建议。运维规范包括:使用一致的颜色语义(绿色=健康、黄色=退化、红色=越界)、明确标注单位(ms、req/s、%、cores)、默认时间窗口采用便于事故排查的范围(15m、1h、6h、24h)、减少每个仪表盘的面板数量以降低认知负担、在面板描述中直接添加 runbook 链接。
排查部分覆盖:面板显示平坦或空白时,检查标签基数与过滤器(服务、环境、区域)、确认抓取/摄取延迟在预期范围内、检查仪表化更新后是否出现指标重命名回归;高基数拖慢仪表盘时,按稳定维度(服务、route_group)聚合而非原始 ID、对昂贵的百分位与比率查询使用记录规则、将深度排查仪表盘与 NOC 摘要仪表盘拆分。
适用场景
适用于生产系统的服务级仪表盘定义、SLO 健康度与错误预算燃烧跟踪、事故指挥中心视图创建,以及跨团队仪表盘模式标准化。
前提条件
- 指标管道(Prometheus、OpenTelemetry 或厂商等效方案)。
- 与服务及环境关联的日志/追踪。
- 统一的服务分类体系(团队、服务、层级、环境)。
限制
该技能针对真实环境执行:应用任何内容前需确认目标、影响范围与回滚方案。未经明确批准不得部署到生产环境。此为仅文档导入:上游脚本与模板未捆绑。
相关技能
- prometheus-grafana:仪表盘实现与 PromQL。
- opentelemetry:标准化遥测仪表化。
- alerting-oncall:可靠性告警路由与升级。
- agent-observability:AI 工作负载可靠性遥测。
示例
git status && git diff --stat kubectl diff -f manifest.yaml