SuperAPI AI 工具集

observability-engineer

部署与运维

查看项目

更新于 10-14 19:09

技能介绍

用途

该技能是面向生产环境的可观测性工程能力,用于设计并落地监控、日志、分布式追踪与可靠性系统,覆盖企业级应用场景。适用于:设计监控/日志/追踪系统;定义 SLI/SLO 与告警策略;排查生产可靠性或性能回归。不适用:只需要一个临时看板;无法访问指标、日志或追踪数据;需要的是应用功能开发而非可观测性建设。

主要能力

监控与指标基建:Prometheus 与 PromQL 高级查询及 recording rules、Grafana 看板设计与告警、InfluxDB 时序数据与保留策略、DataDog 企业监控与合成监控、New Relic APM、CloudWatch、Nagios/Zabbix,以及 StatsD、Telegraf、Collectd 自定义指标采集。强调基数预算,避免在指标标签中使用用户 ID、请求 ID 和无界 URL。

分布式追踪与 APM:Jaeger、Zipkin、AWS X-Ray、OpenTracing 与 OpenTelemetry 插桩标准、Istio/Envoy 服务网格遥测、追踪与日志指标关联、性能瓶颈定位与延迟分析。

日志管理与分析:ELK、Fluentd/Fluent Bit、Splunk、Loki、结构化日志与解析充实、集中式日志、保留策略与低成本存储、安全日志与合规监控、实时流式告警。

告警与事件响应:PagerDuty 路由与升级、Slack/Teams 工作流、告警关联与降噪、runbook 自动化、值班轮换与疲劳预防、无责复盘、阈值调优与误报治理、严重级分类。

SLI/SLO 与错误预算:SLI 定义与测量、SLO 设定与跟踪、错误预算计算与燃尽率分析、SLA 合规报告、可用性目标、容量规划、业务影响评估、混沌工程集成。

OpenTelemetry 与现代标准:Collector 部署配置、多语言自动插桩、自定义遥测采集导出、追踪采样策略、厂商中立管道、protobuf/gRPC 传输、多后端导出、标准迁移。

平台与基础设施监控:Kubernetes 集群(Prometheus Operator)、Docker 容器指标、AWS/Azure/GCP、SQL 与 NoSQL 数据库、网络与流量、硬件预测性维护、CDN、负载均衡、存储容量预测。

混沌工程与可靠性测试:Chaos Monkey/Gremlin 故障注入、失效模式识别、熔断器监控、灾备演练、压测与监控集成、依赖失败模拟、RTO/RPO 验证、安全控制。

看板与可视化:面向管理层与工程团队的看板、Grafana 插件与面板开发、多租户与访问控制、移动端界面、嵌入式分析、下钻交互、自动报告生成。

Observability as Code 与自动化:Terraform 模块、Ansible、GitOps、配置版本管理、新服务自动接入、CI/CD 集成、Policy as Code、自愈监控基建。

成本优化:监控成本分析、保留策略优化、采样率调优、分层存储、资源分配优化、厂商对比与迁移、开源与商业评估、ROI 与预算预测。

企业集成与合规:SOC2/PCI DSS/HIPAA 合规监控、AD/SAML 集成、多租户隔离、审计追踪、数据驻留、ITSM 集成(ServiceNow、Jira Service Management)、备份恢复。

AI/机器学习集成:异常检测、容量预测、根因分析自动化、告警聚类降噪、时序预测、日志 NLP 分类、基线建立与漂移检测、性能回归检测、MLOps 模型可观测。

使用方式

技能内含明确指令流程:先识别关键服务、用户旅程与可靠性目标;再定义信号、插桩与数据保留;随后构建满足 SLO 所需的最小看板与可执行告警,并明确负责人、runbook 与缺失数据行为;最后核对分子/分母与采样、在授权的测试环境演练一条告警、在全面铺开前测量噪音。安全要求方面:使用遥测字段白名单,默认不记录凭证、原始 prompt、查询字符串或完整请求体,需检查实际导出的数据与保留。告警阈值需兼顾覆盖率与噪音。

资料给出一则计算示例:某结算 API 在定义窗口内有 100,000 次有效请求、120 次失败,约定 99.9% 成功率 SLO。实测成功率为 99.88%,0.12% 错误率以 1.2 倍的速度消耗该窗口内允许的 0.1% 比率。需记录哪些请求计入、重试如何处理、失败在用户侧还是服务端边界测量。在新增告警前,确认两个计数器覆盖同一总体,测试无流量与序列缺失行为,并附带 runbook 与负责人。预期操作者能识别受影响旅程与下一步检查,而不暴露请求内容。该算术示例并非规定的分页阈值,也不代表任何在线服务。

适用场景

示例交互包括:为 50+ 微服务架构设计监控策略;为日交易百万级电商平台实现分布式追踪;为日增 10TB+ 日志的高流量应用搭建低成本日志管理;为 99.9% 可用性目标的 API 建立 SLI/SLO 与错误预算;为 7×24 团队构建带降噪的实时告警;实现 Netflix 级混沌工程与监控验证;设计体现可靠性业务影响的高层看板;搭建 SOC2/PCI 合规监控与自动取证;从初创到企业规模优化监控成本;构建自动化事件响应与 runbook/Slack/PagerDuty 升级;建设多区域可观测性与数据主权合规;实现基于机器学习的异常检测;为 AWS Lambda 无服务器架构设计可观测性;构建与技术监控集成的业务 KPI 指标管道。

限制

缺失遥测代表健康状态未知,不能自动视为零错误。经采样的追踪无法在没有合理估计量的情况下直接提供无偏的总请求/错误分母。看板或厂商集成并不等同于合规,访问、保留与实际导出负载仍需审查。告警投递、生产插桩、混沌实验与事件通知都需要针对具体环境和操作获得授权。

行为特征与知识基础

该技能在行为上优先保障生产可靠性与系统稳定,先建监控再出问题;关注可执行告警与有意义的指标而非虚荣指标;强调业务影响与技术指标的关联;考虑监控成本;以数据驱动做容量规划;渐进式发布与金丝雀监控;坚持文档化与 runbook。知识基础涵盖当前安装的采集器/SDK 版本与主文档、Google SRE 方法、企业级监控架构、云原生与 Kubernetes 监控、安全合规要求、机器学习在异常检测与根因分析中的应用、多云混合监控、开发者体验、事件响应与无责复盘、成本有效策略、OpenTelemetry 生态、边缘与 IoT 监控、无服务器可观测、容器安全监控以及与商业智能的集成。