PCL-Platform.Intelligence
Selected Projects

鹏城众智AI协同计算平台AISynergy是一个分布式智能协同计算平台。该平台的目标是通过智算网络基础设施使能数据、算力、模型、网络和服务,完成跨多个智算中心的协同计算作业,进而实现全新计算范式和业务场景,如大模型跨域协同计算、多中心模型聚合、多中心联邦学习等。

协同计算

18     11     1

2000亿开源中文预训练语言模型「鹏程·盘古α」

大模型

38     79     28

鹏程·盘古SDK 上线!集成了鹏程·盘古alpha模型、增强版Evolution模型、多语言mPangu模型,欢迎测试和使用。希望鹏程·盘古模型的可持续学习与应用生态快速发展!

大模型 快速体验

12     6     6

鹏程.盘古对话生成大模型,简称PanGu-Dialog。PanGu-Dialog是以大数据和大模型为显著特征的大规模开放域对话生成模型,充分利用了大规模预训练语言模型的知识和语言能力,基于预训练+持续微调的学习策略融合大规模普通文本和对话数据训练而成。

大模型 自然语言处理 对话生成 开放域

12     4     0

PanGu-Alpha 模型在 GPU 上推理和训练

大模型 自然语言处理 语言模型 gpu

21     37     105

mPanGu-α-53是首个以中文为中心的多语言&机器翻译模型,在一带一路沿线66个国家53种语种上进行预训练和单双语混合增量训练,单模型支持一带一路53个语种任两语种间的互译,对比WMT2021多语言任务赛道No.1在”中外“100个方向上平均BLEU值提升0.354,支持在NPU/GPU上基于MindSpore分布式训练(最少8卡)、推理(全精度/FP16,1卡)和多语言任务的迁移学习。

自然语言处理 大模型 神经网络 多语言大模型 预训练模型 并行训练 机器学习 多语言机器学习

15     8     5

Repositories

鹏城众智AI协同计算平台AISynergy是一个分布式智能协同计算平台。该平台的目标是通过智算网络基础设施使能数据、算力、模型、网络和服务,完成跨多个智算中心的协同计算作业,进而实现全新计算范式和业务场景,如大模型跨域协同计算、多中心模型聚合、多中心联邦学习等。

Updated 3 days ago

鹏程系列大模型的应用技术,从基本技术到应用提供baseline,包括模型的训练推理、finetune\promptune\fewshot learning、模型压缩以及下游任务应用等,促进预训练模型的应用创新。

Updated 5 days ago

2000亿开源中文预训练语言模型「鹏程·盘古α」

Updated 1 week ago

鹏程·盘古SDK 上线!集成了鹏程·盘古alpha模型、增强版Evolution模型、多语言mPangu模型,欢迎测试和使用。希望鹏程·盘古模型的可持续学习与应用生态快速发展!

Updated 1 week ago

Updated 1 week ago

盘古增强版,更强的任务理解与处理能力,更加擅长遵循您的任务说明。

Updated 2 weeks ago

鹏程.盘古对话生成大模型,简称PanGu-Dialog。PanGu-Dialog是以大数据和大模型为显著特征的大规模开放域对话生成模型,充分利用了大规模预训练语言模型的知识和语言能力,基于预训练+持续微调的学习策略融合大规模普通文本和对话数据训练而成。

Updated 2 weeks ago

Updated 1 month ago

PanGu-Alpha 模型在 GPU 上推理和训练

Updated 2 months ago

mPanGu-α-53是首个以中文为中心的多语言&机器翻译模型,在一带一路沿线66个国家53种语种上进行预训练和单双语混合增量训练,单模型支持一带一路53个语种任两语种间的互译,对比WMT2021多语言任务赛道No.1在”中外“100个方向上平均BLEU值提升0.354,支持在NPU/GPU上基于MindSpore分布式训练(最少8卡)、推理(全精度/FP16,1卡)和多语言任务的迁移学习。

Updated 2 months ago

让模型的训练更有效率(10B以内),支持训练更大规模的模型(>10B、50B、100B),构建支持分布式混合并行的典型模型案例,是该项目的初衷。

Updated 6 months ago

支持在鹏城云脑2上,或NPU服务器上,进行盘古2.6B大模型剪枝实验

Updated 8 months ago

将盘古α-13B/2.6B由8卡压缩到1卡上推理。

Updated 10 months ago

支持在鹏城云脑2或者其他NPU服务器上,进行盘古大模型的知识蒸馏,目前实验代码为2.6B盘古模型蒸馏出368M

Updated 11 months ago

开发者对鹏程系列大模型的二次开发项目或者贡献代码。

Updated 11 months ago

People