用途 该技能用于在编写或调试 MPI(消息传递接口)程序时提供操作指引。MPI 是分布式内存并行程序的标准:每个 rank 一个进程,通过通信器进行显式的发送、接收和集合操作。资料中的命令在 Open MPI 5.0.10 上验证过;MPICH 与厂商 MPI 接受相同 API,但 mpirun 选项集不同。
触发场景 当用户需要跨节点或跨插槽并行、实现分布式算法、把 rank 与 OpenMP 线程结合、在调度器下运行、调试挂起或截断错误,或需要并行文件输出时适用。
主要能力与使用方式
- 启动路径验证:提供最小程序(MPI_Init、MPI_Comm_rank、MPI_Comm_size、printf、MPI_Finalize),用 mpicc -O2 编译后以 mpirun -np 4 ./hello 运行(标准拼写为 mpiexec -n 4);本机核数少于 rank 数时加 --oversubscribe。完成标准是每个 rank 各打印一次。
- 点对点通信:MPI_Send 与 MPI_Recv 按通信器、源、标签匹配,MPI_ANY_SOURCE / MPI_ANY_TAG 可放宽匹配;接收缓冲小于消息会报 MPI_ERR_TRUNCATE,可用 MPI_Get_count 查询实际长度。要求每个发送都有同通信器、标签、数据类型的接收,且接收缓冲不小于消息。
- 集合通信:列有 MPI_Bcast、MPI_Scatter、MPI_Gather、MPI_Allreduce、MPI_Reduce、MPI_Alltoall、MPI_Barrier 的用途;要求通信器内所有 rank 以匹配的数据类型和计数调用,不用收发模拟集合操作,Barrier 仅用于计时而非正确性。
- 非阻塞请求:MPI_Isend / MPI_Irecv 返回 MPI_Request,其间做本地计算,再用 MPI_Wait 或 MPI_Waitall 完成;等待返回前缓冲归 MPI 所有;尽量先发接收再发发送。要求每个请求在使用或释放缓冲前被 wait/test 完成。
- 子通信器:MPI_Comm_split 按 color 分组、按 key 排序,用 MPI_Comm_free 释放;组内集合操作在子通信器上执行。
- MPI 与 OpenMP 混合:仅主线程调 MPI 用 MPI_THREAD_FUNNELED,任意线程调用用 MPI_THREAD_MULTIPLE,并检查 provided;线程数按 OMP_NUM_THREADS = 每节点核数 / 每节点 rank 数设置;用 --map-by ppr:2:package --bind-to core 绑定,--report-bindings 查看结果(socket 为 package 的弃用拼写)。要求 rank×thread 等于所用核数且绑定无重叠。
- 多节点启动:hostfile 行如 node0 slots=4,运行 mpirun -np 8 --hostfile hosts.txt ./app;Slurm 下用 srun -n 64 ./app 或 mpirun -np $SLURM_NTASKS ./app;--tag-output 为每行输出加 rank 前缀。
- MPI-IO:示例用 MPI_File_open、MPI_File_write_at_all(集合形式便于库聚合请求)、MPI_File_close;MPI_File_write_at 为独立形式。要求每个 rank 写自己的偏移区间,文件大小等于 rank 数乘块大小。
- 扩展性诊断:负载不均衡用 MPI_Wtime 测各 rank 耗时并重分配;rank 0 串行化改为归约树与并行 I/O;多余同步删除无保护作用的 barrier;大量小消息合并为大缓冲或派生数据类型;大规模 rank 的 Alltoall 改用拓扑通信器上的邻域集合操作;可用 linux-perf 对单个 rank 的 PID 做 perf record。要求以测量指出瓶颈并应用或提出修复。
故障与修复 资料列出:MPI_Recv 挂起(标签、源或通信器不匹配)——两侧打印元组、用 MPI_ANY_TAG 验证;双向阻塞发送死锁——调整顺序、用 MPI_Sendrecv 或非阻塞调用;归约结果错误——各 rank 数据类型与计数需一致;MPI_ERR_TRUNCATE——匹配计数或用 MPI_Probe 与 MPI_Get_count 处理变长消息;多节点后扩展性差——用 MPI-IO 分散 I/O、用归约;混合运行慢于纯 MPI——rank×thread 超核数或线程未绑定,设置 OMP_NUM_THREADS、--bind-to core 并检查 --report-bindings;槽位错误(Open MPI prte-rmaps-base:alloc-error)——测试用 --oversubscribe,正式运行用正确 hostfile;MPI_Finalize 后崩溃或通信器泄漏——等待每个请求、释放每个拆分通信器。
权限与产出 属可逆的本地操作:只在工作目录写 MPI 源文件、编译产物、hostfile 和输出数据文件,回滚即删除;调度器提交与远程启动需向用户提议,不做远程变更。完成标准为:程序用 mpicc 编译,在 mpirun -np N 下每个 rank 输出正确,发送与接收匹配,非阻塞请求全部完成,所提扩展性问题有原因与修复。