nanzhaogang 99e83da27a | 6 months ago | |
---|---|---|
.. | ||
0.Course-Review | 7 months ago | |
1.Transformer | 6 months ago | |
2.BERT | 6 months ago | |
3.GPT | 6 months ago | |
4.GPT2 | 6 months ago | |
5.Parallel | 6 months ago | |
6.CodeGeeX | 7 months ago | |
7.Prompt | 6 months ago | |
8.Instruction | 7 months ago | |
9.RLHF | 7 months ago | |
README.md | 7 months ago | |
README_zh.md | 7 months ago | |
requirements.txt | 7 months ago |
如果你想要学习大模型背后的原理,了解前沿技术;渴望自己动手构建自己的语言模型,那就请不要错过我们大模型技术公开课!4.15起,每周六14:00-15:30,我们在b站等候你的到来₍ᐢ..ᐢ₎♡
除了可以免费使用启智社区提供的高达8卡NPU资源外,为了帮助开发者们更好的学习大模型专题课程内容, 昇思MindSpore联合OpenI启智社区通过"我为开源打榜狂"举办一系列学习打榜活动, 为大家设定一系列加分任务, 鼓励大家进行动手实践,输出沉淀优质内容。
任务1:基于动手学深度学习项目或者昇思MindSpore技术公开课大模型专题的代码仓在平台输出学习笔记或心得,并将链接通过在原项目(即动手学深度学习项目或大模型专题代码仓)提交Issue(即创建任务)的形式,由助教进行审核通过后的优质内容可在挑战升级榜中加20积分/篇;在外部平台(如知乎、csdn等)进行的分享,将链接通过在项目提交Issue,由助教进行审核通过后的优质内容加10积分/篇。心得提交地址:请根据课程提交至对应项目 昇思MindSpore版《动手学深度学习》课程笔记 或 昇思MindSpore技术公开课大模型专题课程——学习笔记
任务2 根据动手学深度学习项目课程内容,或昇思MindSpore技术公开课大模型专题的内容,在启智社区输出相关代码项目,经助教评审通过后可加20积分/项目。动手学深度学习项目可尝试更换数据集,修改模型结构,模型调参优化等方式开展代码实践,昇思MindSpore技术公开课大模型专题课程可参考每节课程回顾中的课程实践建议。提交地址:请根据课程提交至对应项目 昇思MindSpore版《动手学深度学习》代码实践 或 昇思MindSpore技术公开课大模型专题课程——代码实践
开源打榜活动将依据用户的积分数量进行排名, 根据排名情况进行300-1000元阶梯性的现金奖励 ,具体活动方案参见:第八期打榜活动
推荐使用OpenI平台,直接使用启智云脑算力执行公开课代码。
《昇思MindSpore技术公开课》为昇思MindSpore与启智社区联合推出的系列课程。本次专题课程聚焦大模型领域,注重大模型代码实践。课程中,你将从实践的角度出发,通过复现ChatGPT的实现过程,手把手地搭建一个简易版的“ChatGPT”,从而深入了解大型语言模型的构建和原理。本课程将理论与代码进行融合,系统地逐步揭秘ChatGPT、GPT-4背后支持的大型语言类模型(Large Language Model, LLM),旨在让学生深入了解大模型领域知识的同时,真正切实地参与到大模型相关的任务实践中来。
课程内容之外,我们同时开展大模型访谈活动,邀请业界专家讨论大型语言模型领域的技术趋势与行业应用。此外,我们还提供了多样的社区活动与社区实习,让你能够巩固课程所学知识,深入拓展自己的能力,还可以获得实践证书。感兴趣的同学还可以参加昇腾AI创新大赛的大模型比赛,深入了解行业场景。
课程事项 | |
---|---|
开课日期 | (预计) 2023/4/15 - 2023/6/17 |
直播时间 | 每周六14:00 - 15:30 |
直播平台 | B站 |
课程回放 | B站 MindSpore官方账号 |
算力平台 | 启智OpenI平台 |
任务 | 内容 |
---|---|
MindSpore的安装与使用 | 登录MindSpore官网,参考安装指南安装MindSpore,并学习入门教程 也可以通过应用实践案例,简单了解MindSpore端到端模型实践 |
启智社区算力使用 | 登录启智OpenI AI协作平台,参与小白训练营,学习入门教程 视频教程可参考量子位推文 - 单卡就能运行的AI画画模型,小白也能看懂的教程来了 |
课前预习 | 进入mindspore-courses/step_into_chatgpt 代码仓,浏览课程进行预习 |
关注B站直播间 | 担心错过直播的同学可以关注B站MindSpore官方账号 |
有的小伙伴反馈,如果基础不太适合参与大模型学习怎么办,我们这里也为深度学习基础相对薄弱的小伙伴准备了前序课程————昇思MindSpore版《动手学深度学习》。
《动手学深度学习》这本书由李沐等人主导从零开始教授深度学习,覆盖四大类模型:多层感知机、卷积神经网络、循环神经网络、和注意力机制,以及深度学习中的两大应用领域—计算机视觉和自然语言处理—中的典型任务。开发者们只需要有基础的Python变成和数学基础即可参与学习,不仅可以学习模型算法,教材中还提供了大量可运行的代码,供大家进行实践。
同时,为帮助小伙伴们更好地学习知识,昇思MindSpore联合OpenI启智社区通过“我为开源打榜狂”举办了学习任务,我们为大家设置了一系列打分任务,详情请见上方 【新增】#为MindSpore打Call#课程学习打榜活动。
最新通知: 考虑到4月29日为五一假期,小伙伴们可能会有自己的安排,同时也为了给大家提供更加优质的课程内容。经过综合考量,我们决定将4月29日的GPT课程后移一周,调整至5月6日开课,其余课程时间安排保持不变。特此通知,感谢大家的理解(鞠躬)。
日期 | 课程 | 课件归档 |
---|---|---|
4/15 | Transformer * Multi-Head Attention * Transformer结构 * 输入编码 * Encoder * Decoder |
Transformer |
4/22 | BERT * BERT预训练 * BERT Finetune * 使用MindSpore写一个数据并行的BERT |
BERT |
4/29 | 劳动节休息,劳逸结合才能更好的学习哦~ | |
5/6 | GPT * Unsupervised Language Modelling * Supervised Fine-Tuning * 使用GPT Finetune一个Task |
GPT |
5/13 | GPT2 * Task Conditioning * Zero Shot Learning and Zero Shot Task Transfer * 使用GPT2训练一个few shot任务 |
GPT-2 |
5/20 | MindSpore自动并行 | Parallel |
5/27 | 代码预训练 * CodeBERT * CodeX、Copilot * CodeGeeX * 使用CodeGeeX生成代码 |
CodeGeeX |
6/3 | Prompt Tuning * 人工定义Prompt * P-tuning * 使用BERT/GPT2实现Prompt Tuning |
Prompt |
6/10 | 多模态预训练大模型 * 紫东.太初多模态大模型2.0功能及应用介绍 * 语音识别的基础概述 * 语音识别的基础框架 * 语音识别现状及挑战 |
课程回放 |
6/17 | Instruct Tuning * Let's think step by step * InstructGPT * Chain-of-thoughts |
Insutruction |
6/24 | RLHF * 强化学习与PPO算法 * InstructGPT/ChatGPT中的RLHF * 动手训练一个Reward模型 * 使用GPT2实现ChatGPT全流程(基于人工反馈的评论生成模型) |
RLHF |
昇思MindSpore社区活动入口:Link
No Description
Python Text Jupyter Notebook Shell Markdown other
Dear OpenI User
Thank you for your continuous support to the Openl Qizhi Community AI Collaboration Platform. In order to protect your usage rights and ensure network security, we updated the Openl Qizhi Community AI Collaboration Platform Usage Agreement in January 2024. The updated agreement specifies that users are prohibited from using intranet penetration tools. After you click "Agree and continue", you can continue to use our services. Thank you for your cooperation and understanding.
For more agreement content, please refer to the《Openl Qizhi Community AI Collaboration Platform Usage Agreement》