Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
yongshuai 37295d41bc | 1 year ago | |
---|---|---|
ABNet/paddle_abnet | 1 year ago | |
docs/material | 1 year ago | |
README.md | 1 year ago |
星云框架是一个面向云际环境的深度学习统一训练框架,该框架支持在低带宽环境下使用异地异构算力中心的计算资源、复用不同算力中心的已训练模型进行目标模型的协同训练。
本工程以自然语言处理任务为例,展示星云框架在自然语言模型不同训练阶段的应用,包括:
1)多语言预训练模型的训练:使用已训练的小规模多语言预训练模型,在两个异构算力中心的节点上训练更大规模的预训练语言模型;
2)预训练模型微调训练:在已训练模型的基础上,使用不同算力中心计算资源微调训练翻译模型。
星云框架总体分为七层:任务层、训练优化层、并行计算层、通信优化层、安全和隐私层、管理和调度层和云硬件层。
其中任务层面向具体的训练任务,支持模型预训练、模型微调等模型训练任务。
训练优化层、并行计算层和通信优化层共同组成了Nebula-Optimizer,从训练策略、并行策略和通信策略三个方面对训练过程进行联合优化,实现在达到最大化通信性能、最小化模型准确率损失。
安全和隐私层解决集群内部节点和集群之间通信的安全,保障数据传输的安全性。
管理和调度层对不同集群的算力资源进行统一的管理和调度。
云硬件层有不同架构的集群组成。
一个面向云际环境的深度学习统一训练框架。框架支持低带宽环境下使用异地异构算力中心的计算资源、复用不同算力中心的已有模型完成目标任务模型的训练。
other
Dear OpenI User
Thank you for your continuous support to the Openl Qizhi Community AI Collaboration Platform. In order to protect your usage rights and ensure network security, we updated the Openl Qizhi Community AI Collaboration Platform Usage Agreement in January 2024. The updated agreement specifies that users are prohibited from using intranet penetration tools. After you click "Agree and continue", you can continue to use our services. Thank you for your cooperation and understanding.
For more agreement content, please refer to the《Openl Qizhi Community AI Collaboration Platform Usage Agreement》