Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
You can not select more than 25 topics
Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
nanzhaogang
99e83da27a
|
5 months ago | |
|---|---|---|
| .. | ||
| 0.Course-Review | 6 months ago | |
| 1.Transformer | 5 months ago | |
| 2.BERT | 5 months ago | |
| 3.GPT | 5 months ago | |
| 4.GPT2 | 5 months ago | |
| 5.Parallel | 5 months ago | |
| 6.CodeGeeX | 6 months ago | |
| 7.Prompt | 5 months ago | |
| 8.Instruction | 6 months ago | |
| 9.RLHF | 6 months ago | |
| README.md | 6 months ago | |
| README_zh.md | 6 months ago | |
| requirements.txt | 6 months ago | |
README.md
昇思MindSpore技术公开课 - 大模型专题
如果你想要学习大模型背后的原理，了解前沿技术；渴望自己动手构建自己的语言模型，那就请不要错过我们大模型技术公开课！4.15起，每周六14:00-15:30，我们在b站等候你的到来₍ᐢ..ᐢ₎♡
【新增】#为MindSpore打Call#课程学习打榜活动
除了可以免费使用启智社区提供的高达8卡NPU资源外，为了帮助开发者们更好的学习大模型专题课程内容, 昇思MindSpore联合OpenI启智社区通过"我为开源打榜狂"举办一系列学习打榜活动, 为大家设定一系列加分任务, 鼓励大家进行动手实践，输出沉淀优质内容。
加分任务
任务1：基于动手学深度学习项目或者昇思MindSpore技术公开课大模型专题的代码仓在平台输出学习笔记或心得，并将链接通过在原项目（即动手学深度学习项目或大模型专题代码仓）提交Issue（即创建任务）的形式，由助教进行审核通过后的优质内容可在挑战升级榜中加20积分/篇；在外部平台（如知乎、csdn等）进行的分享，将链接通过在项目提交Issue，由助教进行审核通过后的优质内容加10积分/篇。心得提交地址：请根据课程提交至对应项目 昇思MindSpore版《动手学深度学习》课程笔记 或 昇思MindSpore技术公开课大模型专题课程——学习笔记
任务2 根据动手学深度学习项目课程内容，或昇思MindSpore技术公开课大模型专题的内容，在启智社区输出相关代码项目，经助教评审通过后可加20积分/项目。动手学深度学习项目可尝试更换数据集，修改模型结构，模型调参优化等方式开展代码实践，昇思MindSpore技术公开课大模型专题课程可参考每节课程回顾中的课程实践建议。提交地址：请根据课程提交至对应项目 昇思MindSpore版《动手学深度学习》代码实践 或 昇思MindSpore技术公开课大模型专题课程——代码实践
积分用途
开源打榜活动将依据用户的积分数量进行排名, 根据排名情况进行300-1000元阶梯性的现金奖励 ，具体活动方案参见：第八期打榜活动
仓库地址
推荐使用OpenI平台，直接使用启智云脑算力执行公开课代码。
课程介绍
《昇思MindSpore技术公开课》为昇思MindSpore与启智社区联合推出的系列课程。本次专题课程聚焦大模型领域，注重大模型代码实践。课程中，你将从实践的角度出发，通过复现ChatGPT的实现过程，手把手地搭建一个简易版的“ChatGPT”，从而深入了解大型语言模型的构建和原理。本课程将理论与代码进行融合，系统地逐步揭秘ChatGPT、GPT-4背后支持的大型语言类模型（Large Language Model， LLM），旨在让学生深入了解大模型领域知识的同时，真正切实地参与到大模型相关的任务实践中来。
课程内容之外，我们同时开展大模型访谈活动，邀请业界专家讨论大型语言模型领域的技术趋势与行业应用。此外，我们还提供了多样的社区活动与社区实习，让你能够巩固课程所学知识，深入拓展自己的能力，还可以获得实践证书。感兴趣的同学还可以参加昇腾AI创新大赛的大模型比赛，深入了解行业场景。
课程安排
| 课程事项 | |
|---|---|
| 开课日期 | (预计) 2023/4/15 - 2023/6/17 |
| 直播时间 | 每周六14：00 - 15：30 |
| 直播平台 | B站 |
| 课程回放 | B站 MindSpore官方账号 |
| 算力平台 | 启智OpenI平台 |
课前准备
| 任务 | 内容 |
|---|---|
| MindSpore的安装与使用 | 登录MindSpore官网，参考安装指南安装MindSpore，并学习入门教程 也可以通过应用实践案例，简单了解MindSpore端到端模型实践 |
| 启智社区算力使用 | 登录启智OpenI AI协作平台，参与小白训练营，学习入门教程 视频教程可参考量子位推文 - 单卡就能运行的AI画画模型，小白也能看懂的教程来了 |
| 课前预习 | 进入mindspore-courses/step_into_chatgpt 代码仓，浏览课程进行预习 |
| 关注B站直播间 | 担心错过直播的同学可以关注B站MindSpore官方账号 |
前序课程
有的小伙伴反馈，如果基础不太适合参与大模型学习怎么办，我们这里也为深度学习基础相对薄弱的小伙伴准备了前序课程————昇思MindSpore版《动手学深度学习》。
《动手学深度学习》这本书由李沐等人主导从零开始教授深度学习，覆盖四大类模型：多层感知机、卷积神经网络、循环神经网络、和注意力机制，以及深度学习中的两大应用领域—计算机视觉和自然语言处理—中的典型任务。开发者们只需要有基础的Python变成和数学基础即可参与学习，不仅可以学习模型算法，教材中还提供了大量可运行的代码，供大家进行实践。
同时，为帮助小伙伴们更好地学习知识，昇思MindSpore联合OpenI启智社区通过“我为开源打榜狂”举办了学习任务，我们为大家设置了一系列打分任务，详情请见上方 【新增】#为MindSpore打Call#课程学习打榜活动。
课程内容
最新通知： 考虑到4月29日为五一假期，小伙伴们可能会有自己的安排，同时也为了给大家提供更加优质的课程内容。经过综合考量，我们决定将4月29日的GPT课程后移一周，调整至5月6日开课，其余课程时间安排保持不变。特此通知，感谢大家的理解（鞠躬）。
| 日期 | 课程 | 课件归档 |
|---|---|---|
| 4/15 | Transformer * Multi-Head Attention * Transformer结构 * 输入编码 * Encoder * Decoder |
Transformer |
| 4/22 | BERT * BERT预训练 * BERT Finetune * 使用MindSpore写一个数据并行的BERT |
BERT |
| 4/29 | 劳动节休息，劳逸结合才能更好的学习哦~ | |
| 5/6 | GPT * Unsupervised Language Modelling * Supervised Fine-Tuning * 使用GPT Finetune一个Task |
GPT |
| 5/13 | GPT2 * Task Conditioning * Zero Shot Learning and Zero Shot Task Transfer * 使用GPT2训练一个few shot任务 |
GPT-2 |
| 5/20 | MindSpore自动并行 | Parallel |
| 5/27 | 代码预训练 * CodeBERT * CodeX、Copilot * CodeGeeX * 使用CodeGeeX生成代码 |
CodeGeeX |
| 6/3 | Prompt Tuning * 人工定义Prompt * P-tuning * 使用BERT/GPT2实现Prompt Tuning |
Prompt |
| 6/10 | 多模态预训练大模型 * 紫东.太初多模态大模型2.0功能及应用介绍 * 语音识别的基础概述 * 语音识别的基础框架 * 语音识别现状及挑战 |
课程回放 |
| 6/17 | Instruct Tuning * Let's think step by step * InstructGPT * Chain-of-thoughts |
Insutruction |
| 6/24 | RLHF * 强化学习与PPO算法 * InstructGPT/ChatGPT中的RLHF * 动手训练一个Reward模型 * 使用GPT2实现ChatGPT全流程（基于人工反馈的评论生成模型） |
RLHF |
课后活动
昇思MindSpore社区活动入口：Link
No Description
Python Text Jupyter Notebook Shell Markdown other
