• Stablediffusionv2
• • 目录
  • 启智平台推理
  • Stablediffusionv2模型
  • • 模型微调 - LoRA
    • 具体训练方法：
  • 环境依赖
  • 快速开始
  • • 准备checkpoint
    • 文图生成

Stablediffusionv2

目录

• 启智平台推理

• Stablediffusionv2模型

  • [模型微调 - LoRA](#模型微调 - LoRA)
  • 具体训练方法：

• 环境依赖

• 快速开始

  • 准备checkpoint
  • 文图生成

启智平台推理

1. 基本信息 选择Ascend NPU

2. 选择模型

3. Mindspore版本 1.9

4. 启动文件 ：inference.py

5. 选择数据集

   最终参数:

   

Stablediffusionv2模型

Stablediffusionv2模型由Stability-AI团队研发，由华为昇腾部门适配Mindspore+Ascend环境实现。

模型微调 - LoRA

LoRA算法是一种针对超大语言模型的轻量化微调算法，通过使用两个低维度的矩阵乘积近似原始模型中线性结构的权重矩阵，在下游任务微调时，冻结原始网络参数，仅更新LoRA矩阵，来减少微调参数数量。

具体训练方法：

目前分别在 U-Net的交叉注意力层q、k、v、output四个模块上，加入了LoRA模块，lora_rank采用128维，然后在自建的数据集上进行微调。

环境依赖

1. 昇腾软硬件解决方案(驱动+固件+CANN)

   前往昇腾社区，按照说明下载安装。

2. AI框架 - MindSpore == 1.9

   前往MindSpore官网，按照说明下载安装。

   如需更多帮助，可以参考以下资料

   • MindSpore 教程
   • MindSpore Python API

3. 第三方依赖

   pip install -r requirements.txt
   

快速开始

准备checkpoint

下载stablediffusionv2预训练参数 stablediffusionv2_512.ckpt 至 stablediffusionv2/models/ 目录.

文图生成

要进行文图生成，可以运行txt2img.py 或者直接使用默认参数运行 infer.sh.

python txt2img.py --prompt [input text] --ckpt_path [ckpt_path] --ckpt_name [ckpt_name] \
--H [image_height] --W [image_width] --output_path [image save folder] \
--n_samples [number of images to generate]

或者

bash scripts/infer.sh

更高的分辨率需要更大的显存. 对于 Ascend 910 芯片, 我们可以同时生成8张512x512的图片。