SuperAPI AI 工具集

external-gitcode-ascend-fault_diagnose

部署与运维

查看项目

更新于 10-15 17:19

技能介绍

用途:用于检测和分析 NPU 相关故障,帮助快速定位训练/推理任务异常退出或性能劣化问题,覆盖日志采集、清洗、诊断全流程。

主要能力:日志采集脚本 log_collector.py 支持训练/推理前(before)、中(during)、后(after)三阶段采集;清洗与诊断命令 ascend-fd parse、ascend-fd diag、ascend-fd single-diag,支持集群、单机、超节点场景;诊断报告含根因节点分析、故障事件分析、设备资源分析、网络拥塞分析(后两者需 --performance)。提供 Python API:parse_fault_type、parse_root_cluster、diag_root_cluster、parse_knowledge_graph、diag_knowledge_graph,并支持自定义故障实体 custom_entity。

用法:先确认已安装,执行 ascend-fd version 检查;安装教程见 https://www.hiascend.com/document/detail/zh/mindcluster/730/faultdiag/faultdiagug/mindxdlFDUG008.html 。采集示例:python3 log_collector.py -s after -n nodes.json -o ./logs ;清洗示例:ascend-fd parse -i 采集目录 -o 清洗输出目录 --performance ;集群诊断:ascend-fd diag -i 诊断输入目录 -o 诊断结果输出目录 --performance ;单机诊断:ascend-fd single-diag -i 采集目录 -o 单机诊断结果输出目录 ;超节点:ascend-fd diag -i 诊断输入目录 -o 诊断结果输出目录 -s super_pod 。

适用场景:整机满卡训练与推理任务、集群/单机/超节点故障诊断;支持 CANN 7.0.RC1 及以上、PyTorch 5.0.RC3 及以上、MindSpore 2.1.0 及以上、TensorFlow(仅自定义故障)、Ascend HDK 23.0.RC3 及以上、MindCluster 6.0.RC3 及以上、MindIE 6.0.0 及以上、AMCT 7.0.RC1 及以上等日志版本。

限制:仅支持 IPv4;仅支持整机满卡场景,非满卡可能导致根因定位错误或失败;集群建议 ≤128 台服务器(1024 卡),超出需用 ulimit -n 调整;避免使用管道命令;需同步各服务器系统时间、Host 与 Device 时间及容器时间;清洗输出目录磁盘空间需大于 5G;日志级别过低可能冲刷关键日志导致无法诊断;暂不支持发生过冗余恢复的 MindIE 多实例推理集群诊断。缺失 LCNE 或 BMC 日志需手动关联场景,缺失 Host 日志需将清洗结果存放同一目录。