SuperAPI AI 工具集

altinity-expert-clickhouse-kafka

通用与其它

查看项目

更新于 10-15 16:48

技能介绍

用途:从系统表回答 Kafka 消费者是否在轮询、提交并跟上进度,以及是否有资源被抢占。主要数据来源为 system.kafka_consumers、system.metric_log、system.query_views_log 与 system.text_log。若连接模式、集群与时间窗口未确定,先运行 altinity-expert-clickhouse-connection。

主要能力:checks.sql 含 7 项检查(消费健康、每次提交平均行数、再均衡与分配、消费者与消息代理池大小、12 小时池利用率、Kafka 表上的慢物化视图、日志中的 Kafka 消息);advanced_checks.sql 含 4 项检查(单表消费者异常下钻、按表总延迟、按分区延迟、broker 连接健康),后三项解析 rdkafka_stat;troubleshooting.md 收录常见 Kafka 错误与配置修复(ACL、poll 间隔、死信队列、偏移回退、并行消费调优);references/rack-awareness.md 用于跨可用区与 client.rack 排查;reference.md 提供 Kafka 引擎与 librdkafka 背景。

使用方式:逐个语句运行,不整文件执行;语句以 -- @check <id> <title> 开头,需保留 id。遵守 -- @requires,缺表或版本不满足时跳过并列出原因。{cluster} 等占位符需替换真实值或跳过。出错时记录 id 与错误首行后继续;仅对 UNKNOWN_IDENTIFIER 执行 DESCRIBE TABLE system.<table> 并去掉缺失列。severity 列为该行结论,直接沿用。@skip-matrix 的消费速度配方三条语句必须在同一 clickhouse-client 会话中运行,不能通过 MCP 或分开的 --query 执行。

判读要点:last_exception_time 晚于 last_poll_time 或 last_commit_time 视为卡住;kafka_consumers 超过 mb_pool_size 为线程饥饿;物化视图平均耗时超 30 秒可能超出 max.poll.interval.ms;rdkafka_stat 为空说明未设 statistics_interval_ms,相关检查按缺失前提报跳过而非 OK;client.rack 单独无效,需 broker 端启用 RackAwareReplicaSelector;broker 计数中 tx/rx 为请求与响应数,txbytes/rxbytes 才是字节数。

限制:依赖上述系统表与配置项,缺失即跳过;工具不改变服务器设置,修复建议需人工执行。