可观测性是指在外部通过检查系统输出来理解系统行为的能力,无需修改系统或猜测内部状态。其三大支柱为日志(发生了什么)、指标(性能如何)和追踪(跨服务边界的时间花在哪里)。三者只有在相互关联时才有价值:p99 指标尖峰应能链接到追踪,追踪应能链接到日志,因此应从第一天就投资于关联能力,而非事后补建。
【适用场景】 当用户为服务添加结构化日志(pino、winston、log4j、Python logging)、使用 OpenTelemetry 或厂商 SDK(Datadog、New Relic、Honeycomb)对代码进行埋点、为服务定义 SLI/SLO/错误预算、构建 Grafana 或 Datadog 仪表盘、编写 Prometheus 告警规则或配置 PagerDuty/Opsgenie 路由、实现分布式追踪(span、上下文传播、采样)、应对告警疲劳或值班倦怠、或在事故排查中需要关联日志/追踪/指标时,激活本技能。不适用于纯基础设施供给(Terraform、Kubernetes YAML)和代码级 CPU/内存性能剖析。
【核心原则】 始终使用结构化日志:每条日志应为机器可解析的 JSON,字段一致,并带关联 ID。资源用 USE(利用率/饱和度/错误),服务用 RED(速率/错误/时长)。在边界处埋点:服务入口出口、数据库调用、外部 HTTP 调用、消息队列生产与消费是最小埋点面。告警针对症状而非原因(如高错误率、高延迟),不要因 CPU 80% 或内存警告而唤醒值班人员。SLO 驱动决策:每项可靠性权衡都应引用错误预算,预算健康则发布功能,预算燃烧则停止并修复可靠性。
【核心概念】 基数:指标标签值的每个唯一组合都会创建新时间序列,将 user_id 作为指标标签会创建数百万时间序列并拖垮 Prometheus;每个标签的唯一值应控制在约 100 以内,高基数数据使用日志或追踪。示例(Exemplar):指标数据点中嵌入的追踪 ID,可在直方图 p99 尖峰时直接跳转到对应追踪,OpenTelemetry 与 Prometheus 原生支持。上下文传播:追踪 ID 跨服务边界流动的机制,标准格式为 W3C traceparent 头,每个服务必须在入口提取、附加到异步上下文并注入所有出站调用。SLI/SLO/错误预算:SLI 是用户关心的服务行为度量(如成功请求/总请求);SLO 是 SLI 在时间窗口内的目标(如 99.9% 请求在 300ms 内成功,30 天窗口);错误预算为 1-SLO,99.9% SLO 对应约每月 43 分钟停机,燃烧率衡量消耗速度。
【常见任务】
- 设置结构化日志:Node.js 用 pino,需灵活可用 winston;通过中间件为每个请求创建带 traceId 的子 logger,并从 traceparent 或 x-request-id 头提取或生成 traceId,同时回写响应头。
- 使用 OpenTelemetry 埋点:Node.js SDK 配合 HTTP/Express/常用数据库客户端的自动埋点,仅对业务关键操作添加手动 span;instrumentation 文件需在其他模块之前加载(node --require)。示例中配置 OTLP 导出器、周期性指标读取器、ParentBasedSampler 与 10% 头部采样,并在 SIGTERM 时关闭 SDK。手动 span 示例展示 payment.process 及其属性、状态码与异常记录。
- 定义 SLI 与 SLO:先从用户视角定义 SLI,再映射到可测量指标;示例 slos.yaml 包含可用性(99.9%/30d)、延迟 p99(99.0%/30d)与正确性(99.95%/30d)。燃烧率公式:error_budget = 1 - slo_target,burn_rate = observed_error_rate / error_budget,time_to_exhaustion = window_hours / burn_rate;快速燃烧 14.4x 约 2 天耗尽 30 天预算,慢速燃烧 3x 约 10 天耗尽。
- 创建有效仪表盘:采用 RED 方法布局,每个仪表盘 8 至 12 个面板,链接到详情仪表盘下钻。示例布局包括 SLO 状态/错误预算/延迟 SLO、请求速率/错误率/延迟分位数、错误类型/最慢端点/上游依赖延迟、CPU 内存/数据库连接池/队列深度。Grafana 中延迟用 histogram_quantile 同面板显示 p50/p95/p99,错误率用 rate 比值,添加部署注释竖线并设置与 SLO 对齐的阈值颜色。
- 设置不产生告警疲劳的告警:先定义严重级别分层并映射路由。示例 Prometheus 规则包含 P1 快速燃烧(1 小时窗口 >14.4 倍,持续 2 分钟)与 P3 慢速燃烧(6 小时窗口 >3 倍,持续 1 小时)。路由规则:p1 立即呼叫主值班,p2 工作时间呼叫、夜间静默,p3 创建 Jira 工单,p4 仅 Slack 通知。每条告警必须带 runbook 链接、负责团队与仪表盘链接。
- 实现分布式追踪:在服务边界埋点,通过 W3C traceparent 传播上下文,将用户 ID、订单 ID、租户 ID 作为追踪属性而非指标标签。示例展示出站 fetch 包装器注入上下文,以及从队列消息属性提取上下文后处理消息。span 属性遵循 OpenTelemetry 语义约定:HTTP 用 http.method、http.status_code、http.route、net.peer.name;数据库用 db.system、db.name、db.operation、db.statement(脱敏);业务用 order.id、user.id、payment.method 等自定义命名空间。
- 监控错误预算并按燃烧率行动:用 1 小时燃烧率捕捉快速事故,6 小时捕捉慢速退化,计算 30 天滚动剩余预算。行动表:>14.4x(1h 窗口)立即呼叫并宣布事故;>6x(6h 窗口)工作时间呼叫;>3x(24h 窗口)创建可靠性工单并加入下个迭代;<1x 预算健康正常开发;剩余预算 <10% 冻结非关键部署。
【反模式与常见错误】 非结构化纯文本日志无法大规模搜索和聚合,应输出带一致字段和关联 ID 的 JSON。高基数指标标签(user_id、request_id)会创建数百万时间序列并拖垮 Prometheus,应保持每标签基数 <100,高基数数据使用追踪。对原因告警(CPU>80%)会为非用户影响事件唤醒人员,应对症状告警(错误率、延迟 SLO 燃烧)。无采样策略的 100% 追踪采集在大规模下成本过高,应从 10% 头部采样起步,并对错误增加尾部采样。没有错误预算的 SLO 只是虚荣目标,应定义预算、燃烧率阈值及各等级对应动作。告警缺少 runbook 会让值班人员不知所措,每条告警上生产前必须附带 runbook。
【注意事项】 基数爆炸会拖垮 Prometheus:添加高基数标签(user_id、request_id、IP 地址)会为每个唯一值创建新时间序列,一个错误标签可能在一夜之间使 Prometheus 实例 OOM,添加标签前务必检查基数。上下文传播在异步边界处断裂:在 Node.js 中若使用 setTimeout、setImmediate 或未显式传递 context.active() 的新 Promise 链,追踪上下文会丢失,span 变成孤立根节点;应使用 AsyncLocalStorage 感知的框架或通过 context.with(ctx, fn) 手动传播。生产环境 100% 追踪采样不可持续:任何真实规模下全量采样都会耗尽预算与存储,应从 10% 头部采样开始,并为错误增加尾部采样;OTel SDK 默认的 AlwaysOnSampler 需注意调整。