AISynergy/examples/panguAlpha_pytorch

• 环境
• AISynergy 的使用
• Pytorch 框架下的同构训练
• • • 单卡训练，数据并行，模型并行
    • 1、运行 server 端
    • 2、运行 client 端
• Pytorch 和 MindSpore 框架下的异构训练

本例子实现了 Pangu-alpha 模型在 AISynergy 平台上进行协同训练，并支持 Pytorch 框架下的数据并行和模型并行的协同训练，
也支持 Pytorch 和 MindSpore 异构框架下的协同训练。

环境

支持 python >= 3.6, pytorch >= 1.5, cuda >= 10, and nccl >= 2.6 版本.

推荐使用英伟达的官方 docker 镜像docker pull nvcr.io/nvidia/pytorch:20.03-py3。
需要安装 NLTK.

也可直接下载配好的镜像：

docker pull yands/pangu-alpha-megatron-lm-nvidia-pytorch:20.03.2

激活环境：source /opt/conda/bin/activate。

根据教程
部署
下载和安装 AISynergy

AISynergy 的使用

AISynergy提供了两种使用方式：网页前端启动任务，服务器手动启动任务

1、基于网页前端启动任务，可以参考文档
平台使用手册
。

2、基于服务器手动启动任务，可以参考下面步骤。

Pytorch 框架下的同构训练

请先阅读Pangu-alpha
项目下的 pytorch 版本的训练步骤和数据生成步骤。

单卡训练，数据并行，模型并行

设置参数：

1、模型相关的具体参数可以参考项目
Pangu-alpha

2、--train-iters-per-round: 设置每轮的迭代次数 (pretrain_pangu_AISynergy_350m.sh)

3、IP:Port: 设置 server 的 ip 和端口 (server.py, training.py)

4、num_rounds: 设置训练轮数(server.py)

1、运行 server 端

运行脚本

python server.py

2、运行 client 端

不同的并行策略只需要修改脚本pretrain_pangu_AISynergy_350m.sh
或 pretrain_pangu_AISynergy_2.6b.sh

单卡训练:
    GPUS_PER_NODE=1

数据并行:
    GPUS_PER_NODE=2
    --model-parallel-size=1

2路数据并行，2路模型并行:
    GPUS_PER_NODE = 4
    --model-parallel-size=2

运行脚本：

如果在同一机器内运行不同的 client 需要指定不同的 nccl 端口，否则会冲突。

如果是 client 运行在不同机器上，端口设置成一样就行。

bash pretrain_pangu_AISynergy_350m.sh 6060 
bash pretrain_pangu_AISynergy_350m.sh 6061

Pytorch 和 MindSpore 框架下的异构训练

Pytorch 端的起任务的步骤请查看上一节： Pytorch 框架下的同构训练 ，
但需要同时启动 MindSpore 版本的 client，请参考项目tmp。