SuperAPI AI 工具集

fr-analysis

通用与其它

查看项目

更新于 10-16 02:34

技能介绍

用途:分析 PyTorch NCCL 飞行记录器(FR)转储文件,识别发生挂起的集合操作(collective),并借助 CollectiveAnalyzer 隔离出应负责任的 rank,用于分布式训练挂起问题的定位。

主要能力:加载 --fr-path 下匹配 glob 模式的所有 FR 转储;将每个转储解析为 Collective 记录(操作类型、ranks、进程组、时间、状态);按进程组和 sequence ID 跨 rank 分组集合操作以检测不一致;识别 wavefront(集合操作发生分歧的进程组边界),返回该边界处缺失的 rank 作为根因嫌疑;可选输出每 rank 集合状态表和节点健康检查摘要。

使用方式:脚本位于 scripts/fr_attribution.py。命令行用法:python scripts/fr_attribution.py --fr-path /path/to/fr_dumps/ [-p "dump"] [--verbose] [--health-check] [--debug]。参数:--fr-path 必填,FR 转储文件目录或单文件;--pattern/-p 默认 dump;--verbose/-v 打印每 rank 详细信息;--health-check/-c 输出节点健康检查结果;--debug 将二进制 trace 转为 JSON 便于检查。也可通过程序化 API 调用 CollectiveAnalyzer,传入 fr_path、pattern、verbose、health_check 等参数,使用 run_sync 执行并返回 (FRAnalysisResult | str, AttributionState)。

输出:返回结果与分析状态。结果包含选定的 wavefront/前端进程组、该进程组缺失的 rank(根因嫌疑)、每 rank 集合状态表(--verbose 时)、节点健康摘要(--health-check 时)。AttributionState.STOP 表示挂起不可恢复;CONTINUE 表示隔离所识别 rank 后任务可能可重启。

适用场景:PyTorch NCCL 分布式训练出现集合操作挂起、需要定位问题 rank 时。

前置条件与限制:需 PyTorch NCCL 生成的 FR 转储(设置 TORCH_NCCL_TRACE_BUFFER_SIZE > 0);FR_DEBUG=1 可开启脚本详细调试日志。FR 转储通常写入 TORCH_NCCL_DEBUG_INFO_TEMP_FILE 指定目录,或在 NCCL 超时时自动触发。支持 dump* 文件及二进制 pickle/JSON 载荷(自动检测,--debug 可转换二进制 trace)。资料未提供具体版本要求、平台限制与收费标准。