zero_nlp/Chatglm6b_ModelParallel

• 单机多卡、模型并行方式训练thu/chatglm6b模型
• • 介绍
• 准备步骤和详细的说明
• • 模型文件准备
  • 数据部分
  • 训练代码train_model_all.py
  • • 注意
    • 多个卡怎么调整
  • 推理部分

单机多卡、模型并行方式训练thu/chatglm6b模型

介绍

1. 本文件夹在v1simple_thu_chatglm6b的基础上，添加了单机多卡的训练代码 ：
2. 模型并行（将大模型的各个层分别放在多个显卡上）
3. 同时，结合lora算法、fp16精度、使用checkpoint等方法，可以在文本长度为1024、batchsize=4的情况下，在两个T4显卡上跑的很快乐（显卡的显存最大为16G，但是实际上卡1用了8G，卡2用了11G），甚至batchsize还可以提高。
4. 虽然thu/chatglm6b也给了基于p-tuning的微调代码，但是和我这个单机多卡比起来，dddd（懂得都懂），各取所需吧。

准备步骤和详细的说明

模型文件准备

和v1一样

为了有条理性，我把这个模型的所有代码全部都放在📁thuglm文件夹下。

但是，你在从github上下载我这个仓库后，是看不到这几个文件的：

1. pytorch_model-00001-of-00008.bin、
2. pytorch_model-00002-of-00008.bin、
3. pytorch_model-00003-of-00008.bin、
4. pytorch_model-00004-of-00008.bin、
5. pytorch_model-00005-of-00008.bin、
6. pytorch_model-00006-of-00008.bin、
7. pytorch_model-00007-of-00008.bin、
8. pytorch_model-00008-of-00008.bin、
9. ice_text.model

你需要从https://huggingface.co/THUDM/chatglm-6b/tree/main 这里把上面列举的文件下载下来。

注意查看，在这个链接里面，每个文件后面都有一个下载的箭头

下载后，把下载的文件都放在thuglm文件夹下面，然后和我的截图比对一下，是不是有什么出入。

到这里，模型部分就解决了。

数据部分

1. 很多人都喜欢使用那个羊驼数据，无所谓，反正我这里都已经支持了。可以使用这个人提供的语料

git clone https://github.com/hikariming/alpaca_chinese_dataset.git 

训练代码train_model_all.py

这个代码主要分下面几个部分

1. 数据准备：主要是对数据做转换。和v1一样的
2. 模型加载和转换：注意这里有个device_map_dict字典，你需要手动映射cuda序号。
3. 数据加载：没啥好说的
4. 训练

注意

1. 其实这个代码和v1版本的代码差不多，就是在模型加载和转换部分，和v1不一样。
2. 不知道是modeling_chatglm.py代码写的有问题，还是在加载模型的时候出现bug，反正就是很奇怪，只能让你手动分配。
3. 另外，我基于pytorch的模型并行思路，还对modeling_chatglm.py里面的模型的forward方法，做了调整，让每个网络层的input数据自动切换到该网络层所在的设备上。

多个卡怎么调整

1. 调整模型加载和转换的device_map_dict字典的值，值的顺序从低到高升序。
2. 因为我只用了两个卡，所以映射的cuda序号只是为0、1，如果你设备更多，你自己添加。
3. 同时也别忘记修改代码前面的os.environ["CUDA_VISIBLE_DEVICES"] = "0,1,2"部分了。
4. 因为最后一个卡，还需要计算loss部分，所以，在分配的时候，最后一个卡最好不要分配太多的网络层。
5. 建议多试一试。找到一个最好的参数。

推理部分

1. 推理部分，和v1版本一样，这个不再细聊
2. 关于模型效果等，这个也去看v1，基本上也都没问题了。