Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
lyqcom 6d4ff38fa7 | 1 month ago | |
---|---|---|
Season1.step_into_chatgpt | 1 month ago | |
Season2.step_into_llm | 1 month ago | |
assets | 4 months ago | |
.gitignore | 11 months ago | |
.gitmodules | 1 month ago | |
LICENSE | 1 year ago | |
README.md | 4 months ago |
报名链接:https://xihe.mindspore.cn/course/foundation-model-v2/introduction
(注:参与免费课程必须报名哦!同步添加QQ群,后续课程事宜将在群内通知!)
第二期课程10月14日起每双周六14:00-15:00在b站进行直播。
每节课程的ppt和代码会随授课逐步上传至github,系列视频回放归档至b站,大家可以在昇思MindSpore公众号中获取每节课的知识点回顾与下节课的课程预告,同时欢迎大家在MindSpore社区领取大模型系列任务进行挑战。
因为课程周期较长,课节安排可能会在中途出现微调,以最终通知为准,感谢理解!
热烈欢迎小伙伴们参与到课程的建设中来,基于课程的趣味开发可以提交至昇思MindSpore大模型平台
如果在学习过程中发现任何课件及代码方面的问题,希望我们讲解哪方面的内容,或是对课程有什么建议,都可以直接在本仓库中创建issue
昇思MindSpore技术公开课火热开展中,面向所有对大模型感兴趣的开发者,带领大家理论结合时间,由浅入深地逐步深入大模型技术
在已经完结的第一期课程(第1讲-第10讲)中,我们从Transformer开始,解析到ChatGPT的演进路线,手把手带领大家搭建一个简易版的“ChatGPT”
正在进行的第二期课程(第11讲-)在第一期的基础上做了全方位的升级,围绕大模型从开发到应用的全流程实践展开,讲解更前沿的大模型知识、丰富更多元的讲师阵容,期待你的加入!
章节序号 | 章节名称 | 课程简介 | 视频 | 课件及代码 | 知识点总结 |
---|---|---|---|---|---|
第一讲 | Transformer | Multi-head self-attention原理。Masked self-attention的掩码处理方式。基于Transformer的机器翻译任务训练。 | link | link | link |
第二讲 | BERT | 基于Transformer Encoder的BERT模型设计:MLM和NSP任务。BERT进行下游任务微调的范式。 | link | link | link |
第三讲 | GPT | 基于Transformer Decoder的GPT模型设计:Next token prediction。GPT下游任务微调范式。 | link | link | link |
第四讲 | GPT2 | GPT2的核心创新点,包括Task Conditioning和Zero shot learning;模型实现细节基于GPT1的改动。 | link | link | link |
第五讲 | MindSpore自动并行 | 以MindSpore分布式并行特性为依托的数据并行、模型并行、Pipeline并行、内存优化等技术。 | link | link | link |
第六讲 | 代码预训练 | 代码预训练发展沿革。Code数据的预处理。CodeGeex代码预训练大模型。 | link | link | link |
第七讲 | Prompt Tuning | Pretrain-finetune范式到Prompt tuning范式的改变。Hard prompt和Soft prompt相关技术。只需要改造描述文本的prompting。 | link | link | link |
第八讲 | 多模态预训练大模型 | 紫东太初多模态大模型的设计、数据处理和优势;语音识别的理论概述、系统框架和现状及挑战。 | link | / | / |
第九讲 | Instruct Tuning | Instruction tuning的核心思想:让模型能够理解任务描述(指令)。Instruction tuning的局限性:无法支持开放域创新性任务、无法对齐LM训练目标和人类需求。Chain-of-thoughts:通过在prompt中提供示例,让模型“举一反三”。 | link | link | link |
第十讲 | RLHF | RLHF核心思想:将LLM和人类行为对齐。RLHF技术分解:LLM微调、基于人类反馈训练奖励模型、通过强化学习PPO算法实现模型微调。 | link | link | 更新中 |
第十一讲 | ChatGLM | GLM模型结构,从GLM到ChatGLM的演变,ChatGLM推理部署代码演示 | link | link | 更新中 |
第十二讲 | 多模态遥感智能解译基础模型 | 大模型时代的遥感智能,遥感基础模型技术路线,遥感领域典型场景应用 | link | / | / |
第十三讲 | ChatGLM2 | ChatGLM2技术解析,ChatGLM2推理部署代码演示,ChatGLM3特性介绍 | link | link | 更新中 |
第十四讲 | 文本生成解码原理 | 以MindNLP为例,讲解搜索与采样技术原理和实现 | link | link | 更新中 |
第十五讲 | LLAMA | LLaMA背景及羊驼大家族介绍,LLaMA模型结构解析,LLaMA推理部署代码演示 | link | link | 更新中 |
第十六讲 | LLAMA2 | 介绍LLAMA2模型结构,走读代码演示LLAMA2 chat部署 | |||
第十七讲 | 云从大模型 | / | |||
第十八讲 | MOE | / | |||
第十九讲 | CPM | 介绍CPM-Bee预训练、推理、微调及代码现场演示 | |||
第二十讲 | 高效参数微调 | 介绍Lora、(P-Tuning)原理及代码实现 | |||
第二十一讲 | 参数微调平台 | / | |||
第二十二讲 | Prompt Engineering | / | |||
第二十三讲 | 量化 | 介绍低比特量化等相关模型量化技术 | |||
第二十四讲 | 框架LangChain模块解析 | 解析Models、Prompts、Memory、Chains、Agents、Indexes、Callbacks模块,及案例分析 | |||
第二十五讲 | LangChain对话机器人综合案例 | MindSpore Transformers本地模型与LangChain框架组合使用,通过LangChain框架管理向量库并基于向量库对MindSpore Transformers本地模型问答进行优化 |
No Description
Python Jupyter Notebook Text Markdown Shell other
Dear OpenI User
Thank you for your continuous support to the Openl Qizhi Community AI Collaboration Platform. In order to protect your usage rights and ensure network security, we updated the Openl Qizhi Community AI Collaboration Platform Usage Agreement in January 2024. The updated agreement specifies that users are prohibited from using intranet penetration tools. After you click "Agree and continue", you can continue to use our services. Thank you for your cooperation and understanding.
For more agreement content, please refer to the《Openl Qizhi Community AI Collaboration Platform Usage Agreement》