Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
You can not select more than 25 topics
Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
yuanz
9a5978aba9
|
1 year ago | |
|---|---|---|
| .idea | 1 year ago | |
| Chatglm6b_ModelParallel | 1 year ago | |
| chinese_classifier | 1 year ago | |
| chinese_clip | 1 year ago | |
| chinese_gpt2 | 1 year ago | |
| images | 1 year ago | |
| simple_thu_chatglm6b | 1 year ago | |
| train_thuglm(作废) | 1 year ago | |
| vit | 1 year ago | |
| vit-gpt2-image-chinese-captioning | 1 year ago | |
| .gitignore | 1 year ago | |
| LICENSE | 1 year ago | |
| README.md | 1 year ago | |
| requirements.txt | 1 year ago | |
README.md
zero to nlp
特点
- 注重中文的nlp建设
- 基于transformers库
- 每一个项目，都具有数据、模型训练、部署等模块
- 提供公开的数据
- 开箱即用，保证代码都是可跑通，替换数据即可训练出自己的模型
- transformers库的源码级介绍
- 基于pytorch，不用tensorflow
- 模型方面，只介绍大模型，不再介绍传统文本模型
- 每一个项目，都会给出相关的坑和注意事项
目录
模型训练
| 中文名称 | 文件夹名称 | 数据 | 数据清洗 | 大模型 | 模型部署 | 图解 |
|---|---|---|---|---|---|---|
| 中文文本分类 | chinese_classifier | ✅ | ✅ | ✅ | ☑️ | ✅ |
| 中文gpt2 | chinese_gpt2 | ✅ | ✅ | ✅ | ✅ | ☑️ |
| 中文clip | chinese_clip | ✅ | ✅ | ✅ | ☑️ | ✅ |
| 图像生成中文文本 | VisionEncoderDecoderModel | ✅ | ✅ | ✅ | ☑️ | ✅ |
| vit核心源码介绍 | vit model | ☑️ | ☑️ | ☑️ | ☑️ | ✅ |
| 训练Thu-ChatGlm-6b | simple_thu_chatglm6b | ✅ | ✅ | ✅ | ✅ | ☑️ |
数据流程图解
我一直觉得，数据流程通过图解的形式表达出来，其实是最清楚的，因此我都会尽可能的把每一个任务的都图解出来。
文本分类数据图解
中文gpt2
中文clip
图像生成中文文本
vit 源码
No Description
CSV Jupyter Notebook Python