• 昇思MindSpore技术公开课 - 大模型专题
• • 仓库地址
  • 课程安排
  • 课前准备
  • 课程内容
  • 课后活动

昇思MindSpore技术公开课 - 大模型专题

《昇思MindSpore技术公开课》为昇思MindSpore与启智社区联合推出的系列课程。本次专题课程聚焦大模型领域，注重大模型代码实践。课程中，你将从实践的角度出发，通过复现ChatGPT的实现过程，手把手地搭建一个简易版的“ChatGPT”，从而深入了解大型语言模型的构建和原理。本课程将理论与代码进行融合，系统地逐步揭秘ChatGPT、GPT-4背后支持的大型语言类模型（Large Language Model， LLM），旨在让学生深入了解大模型领域知识的同时，真正切实地参与到大模型相关的任务实践中来。

课程内容之外，我们同时开展大模型访谈活动，邀请业界专家讨论大型语言模型领域的技术趋势与行业应用。此外，我们还提供了多样的社区活动与社区实习，让你能够巩固课程所学知识，深入拓展自己的能力，还可以获得实践证书。感兴趣的同学还可以参加昇腾AI创新大赛的大模型比赛，深入了解行业场景。

如果你想要学习大模型背后的原理，了解前沿技术；渴望自己动手构建自己的语言模型，那就请不要错过我们大模型技术公开课！4.15起，每周六14:00-15:30，我们在b站等候你的到来₍ᐢ..ᐢ₎♡

仓库地址

• Github
• OpenI

推荐使用OpenI平台，直接使用启智云脑算力执行公开课代码。

课程安排

课程事项
开课日期	(预计) 2023/4/15 - 2023/6/17
直播时间	每周六14：00 - 15：30
直播平台	B站
课程回放	B站 MindSpore官方账号
算力平台	启智OpenI平台

课前准备

任务	内容
MindSpore的安装与使用	登录MindSpore官网，参考安装指南安装MindSpore，并学习入门教程 也可以通过应用实践案例，简单了解MindSpore端到端模型实践
启智社区算力使用	登录启智OpenI AI协作平台，参与小白训练营，学习入门教程 视频教程可参考量子位推文 - 单卡就能运行的AI画画模型，小白也能看懂的教程来了
课前预习	进入mindspore-courses/step_into_chatgpt 代码仓，浏览课程进行预习
关注B站直播间	担心错过直播的同学可以关注B站MindSpore官方账号

课程内容

日期	课程	课件归档
4/15	Transformer * Multi-Head Attention * Transformer结构      * 输入编码      * Encoder      * Decoder
4/22	BERT * BERT预训练 * BERT Finetune * 使用MindSpore写一个数据并行的BERT
4/29	GPT * Unsupervised Language Modelling * Supervised Fine-Tuning * 使用GPT Finetune一个Task
5/6	劳动节休息，劳逸结合才能更好的学习哦~
5/13	GPT2 * Task Conditioning * Zero Shot Learning and Zero Shot Task Transfer * 使用GPT2训练一个few shot任务
5/20	MindSpore自动并行
5/27	代码预训练 * CodeBERT * CodeX、Copilot * CodeGeeX * 使用CodeGeeX生成代码
6/3	Prompt Tuning * 人工定义Prompt * P-tuning * 使用BERT/GPT2实现Prompt Tuning
6/10	Instruct Tuning * Let's think step by step * InstructGPT * Chain-of-thoughts
6/17	RLHF * 强化学习与PPO算法 * InstructGPT/ChatGPT中的RLHF * 动手训练一个Reward模型 * 使用GPT2实现ChatGPT全流程（基于人工反馈的评论生成模型）

课后活动

昇思MindSpore社区活动入口：Link