报名链接:https://xihe.mindspore.cn/course/foundation-model-v2/introduction
(注:参与免费课程必须报名哦!同步添加QQ群,后续课程事宜将在群内通知!)
紧跟前沿技术,解构热点大模型(如ChatGLM2、LLAMA2等);手把手教你大模型从开发到应用全流程
课程资料归档:link
孙显
中国科学院空天信息创新研究院研究员 实验室副主任
龚柏涛(面壁智能)
OpenBMB开源社区技术负责人 清华大学硕士 CPM-Bee开源大模型项目主要维护者
杨琨(达闼科技)
解决方案工程师
李宁(达闼科技)
解决方案经理
周汝霖
昇思MindSpore布道师 深圳大学华为智能基座社长 2022年华为昇思十大优秀开发者
CQU弟中弟
昇思MindSpore易用性专家 昇思MindSpore布道师
Eric
昇思MindSpore模型压缩技术专家 昇思MindSpore布道师
Selina
昇思MindSpore布道师
【课前学习】 MindSpore Transformers大模型套件:架构讲解与使用入门
介绍MindSpore Transformers大模型套件现状,讲解套件架构及高阶接口设计,走读工程架构模块代码,学习基本使用方式
第一讲:ChatGLM
介绍技术公开课整体课程安排;ChatGLM模型结构,走读代码演示ChatGLM推理部署
第二讲:多模态遥感智能解译基础模型
介绍多模态遥感智能解译基础模型的原理、训推等相关技术,以及模型相关行业应用
第三讲:ChatGLM2
介绍ChatGLM2模型结构,走读代码演示ChatGLM推理部署
第四讲:文本生成解码原理
介绍Beam search和采样的原理及代码实现
第五讲:LLAMA
介绍LLAMA模型结构,走读代码演示推理部署,介绍Alpaca
第六讲:LLAMA2
介绍LLAMA2模型结构,走读代码演示LLAMA2 chat部署
第七讲:云从大模型
第八讲:MOE
第九讲:CPM
介绍CPM-Bee预训练、推理、微调及代码现场演示
第十讲:高效参数微调
介绍Lora、(P-Tuning)原理及代码实现
第十一讲:参数微调平台
第十二讲:Prompt Engineering
第十三讲:量化
介绍低比特量化等相关模型量化技术
第十四讲:框架LangChain模块解析
解析Models、Prompts、Memory、Chains、Agents、Indexes、Callbacks模块,及案例分析
第十五讲:LangChain对话机器人综合案例
MindSpore Transformers本地模型与LangChain框架组合使用,通过LangChain框架管理向量库并基于向量库对MindSpore Transformers本地模型问答进行优化
手把手教你搭建一个简易版ChatGPT
课程资料归档:link
刘群
华为语音语义首席科学家
苏腾
昇思MindSpore技术专家 昇思MindSpore超大规模AI架构师
夏箫
清华大学知识工程实验室博士生 代码生成模型CodeGeeX主要作者之一
王金桥
中国科学院自动化研究所紫东太初大模型研究中心常务副主任 武汉人工智能研究院院长
唐帅
武汉人工智能研究院语音算法工程师
CQU弟中弟
昇思MindSpore易用性专家 昇思MindSpore布道师
Selina
昇思MindSpore布道师
第一讲:Transformer
Multi-head self-attention原理。Masked self-attention的掩码处理方式。基于Transformer的机器翻译任务训练。
第二讲:BERT
基于Transformer Encoder的BERT模型设计:MLM和NSP任务。BERT进行下游任务微调的范式。
第三讲:GPT
基于Transformer Decoder的GPT模型设计:Next token prediction。GPT下游任务微调范式。
第四讲:GPT2
GPT2的核心创新点,包括Task Conditioning和Zero shot learning;模型实现细节基于GPT1的改动。
第五讲:MindSpore自动并行
以MindSpore分布式并行特性为依托的数据并行、模型并行、Pipeline并行、内存优化等技术。
第六讲:代码预训练
代码预训练发展沿革。Code数据的预处理。CodeGeex代码预训练大模型。
第七讲:Prompt Tuning
Pretrain-finetune范式到Prompt tuning范式的改变。Hard prompt和Soft prompt相关技术。只需要改造描述文本的prompting。
第八讲:多模态预训练大模型
紫东太初多模态大模型的设计、数据处理和优势;语音识别的理论概述、系统框架和现状及挑战。
第九讲:Instruction Tuning
Instruction tuning的核心思想:让模型能够理解任务描述(指令)。Instruction tuning的局限性:无法支持开放域创新性任务、无法对齐LM训练目标和人类需求。Chain-of-thoughts:通过在prompt中提供示例,让模型“举一反三”。
第十讲:RLHF
RLHF核心思想:将LLM和人类行为对齐。RLHF技术分解:LLM微调、基于人类反馈训练奖励模型、通过强化学习PPO算法实现模型微调。
Dear OpenI User
Thank you for your continuous support to the Openl Qizhi Community AI Collaboration Platform. In order to protect your usage rights and ensure network security, we updated the Openl Qizhi Community AI Collaboration Platform Usage Agreement in January 2024. The updated agreement specifies that users are prohibited from using intranet penetration tools. After you click "Agree and continue", you can continue to use our services. Thank you for your cooperation and understanding.
For more agreement content, please refer to the《Openl Qizhi Community AI Collaboration Platform Usage Agreement》