Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
|
7 months ago | |
---|---|---|
inference_mindspore_gpu | 1 year ago | |
panguAlpha_pytorch | 7 months ago | |
.gitignore | 2 years ago | |
README-en.md | 2 years ago | |
README.md | 11 months ago |
英文|中文
本项目是 Pangu-alpha 的 GPU 版本,关于 Pangu-alpha 的原理、数据集等信息请查看原项目。该项目现阶段主要是让 Pangu-alpha 模型能在 GPU 上进行推理和训练,让更多人体验到大模型的魅力。开放的宗旨就是要集思广益、抛砖引玉、挖掘大模型应用潜力,同时发现存在的问题,以指导我们未来的创新研究和突破。
目前2.6B GPU版本的模型推理阶段显存占用控制在7G以内,8G显存的机器即可推理,请大家放心使用。
请查看:基于 Megatron-1.1开发的盘古α的推理、Finetune、预训练全流程。