SuperAPI AI 工具集

huawei-cloud-mrs-hdfs-performance-issue-analysis

部署与运维

查看项目

更新于 10-15 22:15

技能介绍

用途:定位华为 FusionInsight HD / MRS 集群上 HDFS 性能问题根因,适用于 HDFS 写入/读取慢或超时、整体性能下降、NameNode RPC 冲高、HDFS 服务不可用,以及 ALM-14006/14007/14014/14015/14021/14022 等告警场景。

主要能力:以三阶段递进流程驱动诊断——告警确认、快速检查、日志深度分析;内置分析器仅用 Python 标准库,本地静态分析日志,提取 omaplugin 指标、slow RPC、审计请求、TopUser 操作与 Block Report 统计,在 <log_dir>/trends/ 下生成 11 个 HTML 趋势图和 analysis_summary.txt。

四种关联模式:MODE01 大量写入(RPC 升高 + Blocks Total 同步上升);MODE02 业务操作激增(RPC 升高 + 总操作数同步上升);MODE03 Balance / 停实例 / 大量删除(RPC 升高 + 待删除 / 副本不足 / 多余块上升);MODE04 NameNode 节点性能不足(RPC 升高 + 磁盘 IO 上升或 Block Report 处理时间增加)。

使用方式:需 Python >= 3.7,无需额外依赖;先确认时间范围,再运行 python3 <skill_dir>/scripts/hdfs_perf_analyze.py <log_dir> <time_start> <time_end>,时间格式 YYYY-MM-DD HH:MM:SS。输入日志放在 log_dir,包括 omaplugin*.log、hadoop-omm-namenode*.log、hdfs-audit-namenode*.log、5min-TopUserOpCounts.log,支持 .log/.zip。快速检查中的 hdfs dfs -ls、grep、top、iostat 等只读命令由用户在集群侧手动执行,分析器本身不连接集群、不外发数据、无需凭证。

限制:分析器仅本地静态分析;使用集群侧命令需具备 HDFS 读权限与主机日志访问权限;无确认时间范围不得运行分析;其他收费、平台等细节暂未提供。