Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
You can not select more than 25 topics
Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
MindSpore
76d298064e
|
3 months ago | |
|---|---|---|
| train | 3 months ago | |
| .gitattributes | 9 months ago | |
| README.md | 8 months ago | |
| README_EN.md | 9 months ago | |
README.md
悟空画画
Wukong-Huahua悟空画画模型
Wukong-Huahua是基于扩散模型的中文文生图大模型，由华为诺亚团队携手中软分布式并行实验室，昇腾计算产品部联合开发。模型基于Wukong dataset训练，并使用昇思框架(MindSpore)+昇腾(Ascend)软硬件解决方案实现。
欢迎访问我们的在线体验平台试玩。
项目Github地址：https://github.com/mindspore-lab/minddiffusion/tree/main/vision/wukong-huahua，个性化生成Dreambooth和Lora微调教程详见该链接。
本仓库提供悟空·画画在昇思大模型平台Dreambooth在线微调baseline。
模型文件
-
下载Wukong-Huahua预训练参数 wukong-huahua-ms.ckpt 。
-
昇思大模型平台在线模型文件：wukong-model
-
训练数据，3-5张同一主体的照片（训练照片规格为512*512，尽量选取单一干净的背景，主体突出）
准备正则数据200张。如训练主体为狗，则需准备200张各种其他狗的图片，这些图片可以通过通用模型生成，也可以手动收集。提供了男人、女人、狗、猫四个类别的正则数据各200张。点击这里下载。 -
昇思大模型平台在数据集样例：
https://xihe.mindspore.cn/datasets/drizzlezyk/wukong-dataset/tree
一、个性化微调DreamBooth
简介
能够基于3-5张同一主体的照片，经过25-35分钟的个性化微调，得到该主体定制化的图片生成模型。
资源和数据准备
- 下载Wukong-Huahua预训练参数 wukong-huahua-ms.ckpt 至 wukong-huahua/models/ 目录
- 训练数据，3-5张同一主体的照片（训练照片规格为512*512，尽量选取单一干净的背景，主体突出）
- 准备正则数据200张。如训练主体为狗，则需准备200张各种其他狗的图片，这些图片可以通过通用模型生成，也可以手动收集。提供了男人、女人、狗、猫四个类别的正则数据各200张。点击这里下载
参数解释
output_path: 输出路径
model_path: 预训练模型路径
fine_data_path: 训练数据路径
class_word: 训练数据主体类别
token: 训练主体标识符，可用默认
启动文件
train.py
在线训练步骤
- Fork本仓库
- 点击训练->创建训练
- 填写表单如下：
参数解释
output_path: 输出路径
model_path: 预训练模型路径
prompt: prompt内容，参赛者需要根据自己的数据集修改对应的描述内容
class_word: 训练数据主体类别
token: 训练主体标识符，可用默认
fine_data_path: 数据集路径
save_checkpoint_steps：每隔多少步保存一次微调模型
注意
其他关于代码的讨论请进入比赛官方交流群：添加小助手微信：mindspore0328，回复比赛名称：悟空画画微调
No Description
Python Text Shell Dockerfile Markdown