Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
You can not select more than 25 topics
Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
superqing
eea6290ca6
|
2 years ago | |
|---|---|---|
| .. | ||
| pangu | 2 years ago | |
| pangu_evolution | 2 years ago | |
| README.md | 2 years ago | |
| __init__.py | 2 years ago | |
README.md
鹏程系列大模型
简介
基于分布训练模架、大数据、高效算法训练大模型，构建文本、多语言、多模型、知识图谱等领域的AI底层基础设施。本目录包含了现有的鹏程系列大模型的基本信息。
鹏程系列大模型
| 序号 | 类型 | 语言 | 模型 | 参数 | 结构 | 导航 |
|---|---|---|---|---|---|---|
| 1 | NLP | 中文 | 鹏程.盘古 | 200B 13B 2.6B 350M |
Transformer decoder | [链接] |
| 2 | NLP | 中文 | 鹏程.盘古增强版 | 2.6B 350M |
Transformer decoder | [链接] |
进展
- 2021.04.xx
- 鹏程.盘古发布，包含200B(暂不开源)、13B、2.6B三个参数规模的版本，支持GPU/NPU/Pytorch/Mindspore。
- 2021.11.25
- 鹏程.盘古增强版发布，包含2.6B一个参数规模的版本。
- 2022.01.25
- 鹏程.盘古small GPU版发布，参数规模350M。
License
正在添加中
鹏程系列大模型的应用技术，从基本技术到应用提供baseline，包括模型的训练推理、finetune\promptune\fewshot learning、模型压缩以及下游任务应用等，促进预训练模型的应用创新。
Python C++ Text Shell Markdown other
