SuperAPI AI 工具集

nemo-mbridge-perf-hierarchical-context-parallel

部署与运维

查看项目

更新于 10-16 08:08

技能介绍

用途:本技能介绍如何在 Megatron-Bridge 中启用分层上下文并行(hierarchical context parallelism,HCP),即由 cp_comm_type="a2a+p2p" 使用的嵌套上下文并行进程组,通过 hierarchical_context_parallel_sizes 配置。

主要能力:给出最小 Bridge 覆盖配置、约束条件、代码锚点(配置声明与参数校验)、实现映射(校验、进程组创建、Transformer Engine 集成)、常见陷阱与验证方式。

必要用法:最小配置为 cfg.model.context_parallel_size = 4、cfg.model.cp_comm_type = "a2a+p2p"、cfg.model.hierarchical_context_parallel_sizes = [2, 2]、cfg.dist.use_decentralized_pg = False。约束:prod(hierarchical_context_parallel_sizes) == context_parallel_size;seq_length % (2 * context_parallel_size) == 0;Transformer Engine >= 1.12.0。

验证:运行 uv run python -m pytest tests/unit_tests/training/test_decentralized_pg.py -q;手动冒烟测试可用 4 GPU 启动脚本,设置 cp_comm_type=a2a+p2p 与 hierarchical_context_parallel_sizes=[2,2],成功标准为日志出现 HIERARCHICAL_CONTEXT_PARALLEL_GROUPS 且至少完成一步训练。

限制:Bridge HCP 目前仅支持 MPU 路径,use_decentralized_pg=True 时初始化扁平 CP 组且不设置 HCP;暂无已入库的 Bridge 配方直接使用 HCP;单 GPU 加载辅助函数会清除 hierarchical_context_parallel_sizes;旧版本在未设置 HCP 尺寸时可能静默禁用 CP 通信导致梯度错误;目前无专门的 Bridge 端到端 HCP 测试。