【每天学习一点点】MPI是什么？

MPI（Message Passing Interface，消息传递接口）是一种用于并行计算的通信标准，它定义了一套跨语言的编程接口，让多个计算节点（如多台服务器、多个CPU/GPU）之间通过“发消息”的方式协同工作。

核心概念

MPI 不是编程语言，而是一套通信协议和库的规范。它的核心思想是：

• 每个计算节点拥有独立的内存空间（分布式内存模型）
• 节点之间不能直接访问彼此的内存，必须通过显式的消息传递来交换数据
• 一个 MPI 程序由多个并发执行的进程组成，每个进程有自己的编号（rank）

打个比方：MPI 就像一群人在不同房间里各自工作，他们不能直接看对方桌上的文件，只能通过“递纸条”（消息传递）来沟通协作。

MPI 的核心操作

MPI 在深度学习中的角色

在大规模训练场景下，模型往往需要分布在几十甚至上百台机器上训练。MPI 在这里扮演的是跨节点通信的底层基础设施：

• 梯度同步：每台机器各自计算梯度后，通过 MPI 的 Allreduce 操作将所有机器的梯度汇总，保证模型参数一致
• 数据分发：将大规模数据集切分到不同节点上
• 集合通信库 NCCL：NVIDIA 的 NCCL（用于 GPU 间通信）底层在很多场景中也与 MPI 协同工作

主流 MPI 实现

一个简单的 MPI 程序示例

#include <mpi.h>
#include <stdio.h>

int main(int argc, char** argv) {
    MPI_Init(&argc, &argv);          // 初始化 MPI 环境
    
    int rank, size;
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);  // 获取当前进程编号
    MPI_Comm_size(MPI_COMM_WORLD, &size);  // 获取总进程数
    
    printf("Process %d of %d\n", rank, size);
    
    MPI_Finalize();                  // 清理 MPI 环境
    return 0;
}

编译和运行：

mpicc hello.c -o hello
mpirun -np 4 ./hello

输出：

Process 0 of 4
Process 1 of 4
Process 2 of 4
Process 3 of 4