SuperAPI AI 工具集

doris-debug-data-lake

数据与分析

查看项目

更新于 10-15 16:51

技能介绍

用途:排查 Doris 外部分布式数据湖目录(Multi-Catalog)相关问题,覆盖元数据陈旧、S3/HDFS 连通性、外部物化视图重写未命中、Schema 不一致、凭证过期、文件句柄耗尽等常见病因,并给出定位证据与源码锚点。

主要能力:

  1. 列出六大类因由及证据来源,如元数据陈旧对应 HMSClient/CachedHMSClient,S3/HDFS 连接对应 S3FileSystem/HdfsResource,外部 MV 改写未命中对应 MTMVService 改写规则,Schema 不匹配对应 ParquetReader,凭证过期对应 S3 凭证刷新,句柄耗尽对应 BE 的 ulimit 与 listFiles。
  2. 提供 10 分钟快速分类排查步骤。

使用方式(命令保持原样): SHOW CATALOGS; 检查 catalog 存活。 REFRESH CATALOG hive_catalog; / REFRESH DATABASE ... / REFRESH TABLE ... 刷新元数据,大目录可只刷分区 REFRESH TABLE catalog.db.tbl PARTITION (dt='2026-07-15');。 SET materialized_view_rewrite_enable_contain_external_table = true; 检查外部 MV 改写开关。 ANALYZE TABLE hive_catalog.db_name.tbl_name; 采集 CBO 统计。 日志排查:./scripts/doris-debug log-grep be/log --query-id "$QID",以及用 grep 检索 403、Access Denied、Timeout、NoSuchBucket、Token expired。 FD 检查:cat /proc/$BE_PID/limits | grep "open files"。 连通性验证:curl -I "https://<bucket>.s3.<region>.amazonaws.com"。 配置涉及 be.conf 的 S3 凭证链与 fe.conf 的 hadoop_conf_dir、hive_metastore_client_timeout_second。

适用场景:Doris 查询 Hive/Iceberg/Paimon/Hudi 外部表返回旧数据或分区缺失、S3/HDFS 报错、EXPLAIN 未见 MATERIALIZED_REWRITE、Parquet/ORC 与 HMS 模式不一致、STS/IAM 轮换导致 403、目录列出时 FD 耗尽。

限制:资料未提供具体版本兼容细节、修复耗时或效果保证;部分配置示例为占位值,使用前需按实际环境替换。