SuperAPI AI 工具集

monitoring-ops

部署与运维

查看项目

更新于 10-15 07:45

技能介绍

Monitoring Operations 是一套面向生产系统的可观测性模式集合,围绕指标(metrics)、日志(logging)、追踪(tracing)三大支柱展开,并涵盖告警策略、仪表盘设计与基础设施监控。

用途 该技能用于指导监控与可观测性实践:判断应使用哪种可观测性信号、选择正确的指标类型、设计告警规则、编写结构化日志、配置分布式追踪,以及规划仪表盘布局。

三大支柱速查

  • 指标:适合聚合数值测量、趋势与阈值告警,工具如 Prometheus、Datadog、CloudWatch、StatsD,数据类型为时间序列。
  • 日志:适合离散事件、错误详情、审计轨迹与调试上下文,工具如 Loki、ELK、CloudWatch Logs、Fluentd。
  • 追踪:适合跨服务请求流、延迟分解与依赖映射,工具如 Jaeger、Tempo、Zipkin、Datadog APM。 资料给出典型问题与信号对应关系,例如“每秒多少请求”用指标,“某请求为何失败”用日志,“延迟在哪”用追踪。并强调通过日志中嵌入 trace_id、指标中记录 exemplar、追踪 span 关联日志查询来实现三者关联。

指标类型决策树

  • 只增不减的事件计数用 Counter,配合 rate() 或 increase(),不要直接使用原始值。
  • 可升可降的当前值用 Gauge。
  • 需要跨实例聚合分位数用 Histogram,并给出桶边界示例与 histogram_quantile() 用法。
  • 单实例预计算分位数用 Summary,但不可跨实例聚合,除非有明确理由否则优先 Histogram。
  • 仅含标签的元数据用 Info 指标。

告警决策树与严重级别

  • 固定边界阈值用阈值型告警。
  • 正常行为随时间变化用异常型告警。
  • 有明确可靠性目标时优先使用 SLO 型告警(如错误预算燃烧率)。 严重级别分为 Critical(立即呼叫值班)、Warning(数小时内调查)、Info(下个工作日审查),并说明何时呼叫、何时建单。

结构化日志 给出标准 JSON 日志格式示例,包含 timestamp、level、message、service、version、trace_id、span_id、request_id、user_id、error、duration_ms、http 等字段。日志级别决策指南覆盖 DEBUG、INFO、WARN、ERROR、FATAL 的使用场景与规则,例如预期条件不应记为 ERROR、生产环境默认关闭 DEBUG、INFO 不应嘈杂。关联 ID 部分建议在网关生成 request_id,通过 X-Request-ID 头传播,并在每条日志中记录 trace_id、span_id、request_id。

分布式追踪 介绍 Trace、Span、上下文传播等核心概念,给出 W3C TraceContext 的 traceparent 头格式解析。采样策略包括头部比例采样、全采样、父级采样、尾部采样,并建议采用父级采样加 Collector 端尾部采样,以捕获所有错误与慢追踪。

工具选型矩阵 对比 Prometheus + Grafana、Datadog、Grafana Cloud、CloudWatch 在成本、搭建复杂度、指标、日志、追踪、告警、仪表盘、保留期、多云支持等方面的差异,并给出推荐路径:预算有限可自建 Prometheus + Grafana + Loki + Tempo;小团队可用 Grafana Cloud 免费层;企业级可用 Datadog;纯 AWS 环境可用 CloudWatch + X-Ray。

仪表盘设计 介绍基础设施的 USE 方法(利用率、饱和度、错误)、服务的 RED 方法(速率、错误、持续时间)以及 Google SRE 四大黄金信号(延迟、流量、错误、饱和度),并给出仪表盘布局最佳实践,如顶部放关键健康指标、使用变量与注解。

常见陷阱 列出基数爆炸、告警疲劳、缺少关联 ID、采样偏差、日志量成本、指标命名不一致、仪表盘泛滥、SLO 过于激进、缺少基线、过度埋点、忽略指标陈旧、对原因而非症状告警、无保留策略、仪表盘缺少上下文等问题及修复建议。

参考文件 包含 metrics-alerting.md、logging.md、tracing.md、infrastructure.md 四个文件,分别约 650、550、600、550 行,覆盖 Prometheus/Grafana/OpenTelemetry 指标、SLI/SLO/SLA、告警路由、结构化日志、关联 ID、聚合、PII 掩码、OpenTelemetry 追踪、采样、Jaeger、异步追踪、数据库/HTTP/gRPC 埋点、健康检查、K8s 探针、Docker HEALTHCHECK、基础设施指标、APM、成本优化与事件响应。

适用场景 适合需要搭建或优化生产系统监控体系的开发、运维与 SRE 人员,用于选择可观测性工具、设计告警与仪表盘、规范日志与追踪实践。

限制 资料未提供该技能的具体安装命令、收费方式、平台支持范围或实际使用效果;上述内容均为模式与建议,实际落地需结合具体环境。