SuperAPI AI 工具集

doris-debug-import

测试与质量

查看项目

更新于 10-15 16:51

技能介绍

用途:面向 Doris 导入相关问题,涵盖 Stream/Broker/Routine Load 异常,以及 Group Commit 在 async_mode 下 WAL 堆积的排查。

主要能力:解释 async_mode WAL 语义——写 WAL、RPC 返回、后台 group commit、成功后 delete_wal;并指出排空速率取决于 commit 完成速率,而非 compaction 的 GB/s。列出可调项:group_commit_insert_threads(默认 10,提交工作线程池)、group_commit_relay_wal_threads(默认 10,WAL 回放)、group_commit_wal_path(位于 storage_root 下,WAL 磁盘)、group_commit_wal_max_disk_limit(默认 10%,WAL 配额),以及表级 group_commit_data_bytes(常见 64MB,按大小触发刷写)与 group_commit_interval_ms(常见 10000,按时间触发刷写)。

使用方式:高吞吐场景建议跨 BE 拆分导入(WAL 位于协调 BE 本地);用 wal-du 检查各 BE 存储路径;为 group_commit_wal_path 使用独立 NVMe;对 group_commit_data_bytes 做 A/B 对比(128MB 与 512MB),当写入远快于时间间隔时按大小阈值主导;用 sync_mode 或客户端限流实现背压。提供命令: ./scripts/doris-debug wal-du /path/to/be/storage ./scripts/doris-debug log-grep be/log --pack group_commit

适用场景:高 MB/s 导入、Group Commit 延迟或 WAL 占用过大时的定位与调优。

限制:文中未提供具体阈值判定、修复结论或版本兼容范围,需结合实际环境验证。