SuperAPI AI 工具集

nemo-mbridge-perf-activation-recompute

通用与其它

查看项目

更新于 10-16 12:48

技能介绍

用途:激活重计算(Activation Recompute)用 GPU 算力换显存,前向传播丢弃中间激活,反向传播时重新计算。Megatron Bridge 支持 selective 与 full 两种粒度。

主要能力:selective 通过 recompute_modules 列表指定层内子模块(如 core_attn、mlp、layernorm、moe、moe_act、shared_experts、mla_up_proj),节省程度依模块而定,算力开销从低到高。full 通过 recompute_num_layers + recompute_method 重算整层 Transformer,节省最强、开销最高;注意 full 指整层而非整个模型。

使用方式:选择性重计算 cfg.model.recompute_granularity="selective" 并设置 cfg.model.recompute_modules=["core_attn"];整层重计算设置 recompute_granularity="full"、recompute_method="uniform"、recompute_num_layers=4。性能测试可用 uv run python scripts/performance/run_script.py 并传 --recompute_modules core_attn,layernorm。

建议顺序:先排查分配器碎片(PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True),再优先用 selective 重计算;layernorm 便宜但省得少,mlp 省得多但吞吐代价明显;仅在 selective 放不下时用整层重计算。

限制:selective 必须提供非空 recompute_modules;full 必须提供 recompute_method 与 recompute_num_layers;整层重计算与 TE-scoped CUDA 图不兼容(需 full_iteration 或改用 selective/关闭图);distribute_saved_activations=True 不能与 sequence_parallel=True 同用;mlp+core_attn 组合略差于单用 mlp;cpu_offloading=True 与 PP>1 不兼容。各模块的实际节省随模型架构与 hidden 维度差异较大,需人工选择模块,无自动选择。