昇思MindSpore技术公开课 - 大模型专题
如果你想要学习大模型背后的原理,了解前沿技术;渴望自己动手构建自己的语言模型,那就请不要错过我们大模型技术公开课!4.15起,每周六14:00-15:30,我们在b站等候你的到来₍ᐢ..ᐢ₎♡
【新增】#为MindSpore打Call#课程学习打榜活动
除了可以免费使用启智社区提供的高达8卡NPU资源外,为了帮助开发者们更好的学习大模型专题课程内容, 昇思MindSpore联合OpenI启智社区通过"我为开源打榜狂"举办一系列学习打榜活动, 为大家设定一系列加分任务, 鼓励大家进行动手实践,输出沉淀优质内容。
加分任务
任务1:基于动手学深度学习项目或者昇思MindSpore技术公开课大模型专题的代码仓在平台输出学习笔记或心得,并将链接通过在原项目(即动手学深度学习项目或大模型专题代码仓)提交Issue(即创建任务)的形式,由助教进行审核通过后的优质内容可在挑战升级榜中加20积分/篇;在外部平台(如知乎、csdn等)进行的分享,将链接通过在项目提交Issue,由助教进行审核通过后的优质内容加10积分/篇。心得提交地址:请根据课程提交至对应项目 昇思MindSpore版《动手学深度学习》课程笔记 或 昇思MindSpore技术公开课大模型专题课程——学习笔记
任务2 根据动手学深度学习项目课程内容,或昇思MindSpore技术公开课大模型专题的内容,在启智社区输出相关代码项目,经助教评审通过后可加20积分/项目。动手学深度学习项目可尝试更换数据集,修改模型结构,模型调参优化等方式开展代码实践,昇思MindSpore技术公开课大模型专题课程可参考每节课程回顾中的课程实践建议。提交地址:请根据课程提交至对应项目 昇思MindSpore版《动手学深度学习》代码实践 或 昇思MindSpore技术公开课大模型专题课程——代码实践
积分用途
开源打榜活动将依据用户的积分数量进行排名, 根据排名情况进行300-1000元阶梯性的现金奖励 ,具体活动方案参见:第八期打榜活动
仓库地址
推荐使用OpenI平台,直接使用启智云脑算力执行公开课代码。
课程介绍
《昇思MindSpore技术公开课》为昇思MindSpore与启智社区联合推出的系列课程。本次专题课程聚焦大模型领域,注重大模型代码实践。课程中,你将从实践的角度出发,通过复现ChatGPT的实现过程,手把手地搭建一个简易版的“ChatGPT”,从而深入了解大型语言模型的构建和原理。本课程将理论与代码进行融合,系统地逐步揭秘ChatGPT、GPT-4背后支持的大型语言类模型(Large Language Model, LLM),旨在让学生深入了解大模型领域知识的同时,真正切实地参与到大模型相关的任务实践中来。
课程内容之外,我们同时开展大模型访谈活动,邀请业界专家讨论大型语言模型领域的技术趋势与行业应用。此外,我们还提供了多样的社区活动与社区实习,让你能够巩固课程所学知识,深入拓展自己的能力,还可以获得实践证书。感兴趣的同学还可以参加昇腾AI创新大赛的大模型比赛,深入了解行业场景。
课程安排
课前准备
前序课程
有的小伙伴反馈,如果基础不太适合参与大模型学习怎么办,我们这里也为深度学习基础相对薄弱的小伙伴准备了前序课程————昇思MindSpore版《动手学深度学习》。
《动手学深度学习》这本书由李沐等人主导从零开始教授深度学习,覆盖四大类模型:多层感知机、卷积神经网络、循环神经网络、和注意力机制,以及深度学习中的两大应用领域—计算机视觉和自然语言处理—中的典型任务。开发者们只需要有基础的Python变成和数学基础即可参与学习,不仅可以学习模型算法,教材中还提供了大量可运行的代码,供大家进行实践。
同时,为帮助小伙伴们更好地学习知识,昇思MindSpore联合OpenI启智社区通过“我为开源打榜狂”举办了学习任务,我们为大家设置了一系列打分任务,详情请见上方 【新增】#为MindSpore打Call#课程学习打榜活动。
课程内容
最新通知: 考虑到4月29日为五一假期,小伙伴们可能会有自己的安排,同时也为了给大家提供更加优质的课程内容。经过综合考量,我们决定将4月29日的GPT课程后移一周,调整至5月6日开课,其余课程时间安排保持不变。特此通知,感谢大家的理解(鞠躬)。
日期 |
课程 |
课件归档 |
4/15 |
Transformer * Multi-Head Attention * Transformer结构 * 输入编码 * Encoder * Decoder
|
Transformer |
4/22 |
BERT * BERT预训练 * BERT Finetune * 使用MindSpore写一个数据并行的BERT
|
BERT |
4/29 |
劳动节休息,劳逸结合才能更好的学习哦~ |
|
5/6 |
GPT * Unsupervised Language Modelling * Supervised Fine-Tuning * 使用GPT Finetune一个Task
|
GPT |
5/13 |
GPT2 * Task Conditioning * Zero Shot Learning and Zero Shot Task Transfer * 使用GPT2训练一个few shot任务
|
GPT-2 |
5/20 |
MindSpore自动并行 |
Parallel |
5/27 |
代码预训练 * CodeBERT * CodeX、Copilot * CodeGeeX * 使用CodeGeeX生成代码
|
CodeGeeX |
6/3 |
Prompt Tuning * 人工定义Prompt * P-tuning * 使用BERT/GPT2实现Prompt Tuning
|
Prompt |
6/10 |
多模态预训练大模型 * 紫东.太初多模态大模型2.0功能及应用介绍 * 语音识别的基础概述 * 语音识别的基础框架 * 语音识别现状及挑战
|
课程回放 |
6/17 |
Instruct Tuning * Let's think step by step * InstructGPT * Chain-of-thoughts
|
Insutruction |
6/24 |
RLHF * 强化学习与PPO算法 * InstructGPT/ChatGPT中的RLHF * 动手训练一个Reward模型 * 使用GPT2实现ChatGPT全流程(基于人工反馈的评论生成模型)
|
RLHF |
课后活动
昇思MindSpore社区活动入口:Link