SuperAPI AI 工具集

monitoring-ingestion-pipeline

部署与运维

查看项目

更新于 10-16 08:07

技能介绍

用途:这是一份指导文档,说明如何通过 Grafana MCP 工具监控与诊断 PostHog Node.js 事件摄取流水线(nodejs/)的生产运行状况,用于排查事件延迟(lag)、事件丢弃与流水线异常。

背景与能力:该摄取层从 Kafka 消费 capture 服务产生的事件,经过人员解析、分组归属、属性覆盖等处理步骤后,向写入 ClickHouse 的 Kafka topic 输出增强事件。同一套代码通过 posthog-app Helm chart 以多个 K8s Deployment 部署,指标按 ingestion_pipeline(analytics、heatmaps、clientwarnings、errortracking)与 ingestion_lane(main、overflow、historical、async、turbo)标签区分。文档强调应使用 Grafana MCP 工具动态发现实时指标,而非死记随代码变化的指标名。

使用方式:Grafana MCP 每次仅连接单个 Grafana 实例,即单个环境;未指定时需询问用户要排查 prod-us(us-east-1)还是 prod-eu(eu-central-1)。跨环境比较需切换 Grafana 实例,无法在同一会话完成。文档列出了各可观测域的数据源 UID 与发现工具,如应用指标用 victoriametrics 的 list_prometheus_metric_names,日志须用 Loki-logs(P44D702D3E93867EC),避免使用主 Loki(P8E80F9AEF21F6940)和 CloudWatch Root(PAAE47F430CFD1449)。

后续内容还涵盖部署角色、指标前缀、Redis 拓扑、Kafka 拓扑、Postgres 拓扑、ClickHouse 拓扑、Pyroscope 服务以及关键健康信号等。

限制:跨环境比较需切换实例;ingestion-analytics-turbo 仅存在于 prod-us;不同环境 topic 分区数、集群 ID 与端点后缀不同;部分指标与集群角色(如 batch-exports、test)可能仅存在于单一环境。其余细节未在资料中完整展开。