用途:Ascend 故障诊断工具,检测和分析 NPU 相关故障,帮助定位训练/推理故障与性能劣化问题。前置条件为安装 ascend-fault-diagnose,可用 ascend-fd version 检查。
主要能力与流程:日志采集 → 日志清洗 → 故障诊断。采集用 log_collector.py,按阶段执行,如 python3 log_collector.py -s before -n nodes.json -o ./logs(-s 可选 before/during/after)。清洗执行 ascend-fd parse -i 采集目录 -o 清洗输出目录 --performance。集群诊断执行 ascend-fd diag -i 诊断输入目录 -o 诊断结果输出目录(加 --performance 启用性能劣化检测);单机用 ascend-fd single-diag;超节点诊断用 -s super_pod。也提供 Python API:parse_fault_type、parse_root_cluster/diag_root_cluster、parse_knowledge_graph/diag_knowledge_graph。
适用场景:整机满卡训练及推理;集群、单机、超节点(BMC/Host/LCNE 日志,非手动或手动关联、缺失 Host 日志)场景。
限制:仅支持 IPv4,不支持 IPv6;集群建议 ≤128 台服务器(1024 卡),超过需用 ulimit -n 调整;避免使用管道命令;需同步服务器、Host 与 Device、容器时间;清洗输出目录磁盘需大于 5G;暂不支持发生过冗余恢复的 MindIE 多实例推理集群诊断。费用与价格暂未提供。