欢迎来到MindSpore MindFormers

介绍

MindSpore MindFormers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件：
提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。

MindSpore MindFormers套件基于MindSpore内置的并行技术和组件化设计，具备如下特点：

• 一行代码实现从单卡到大规模集群训练的无缝切换。
• 提供灵活易用的个性化并行配置。
• 能够自动进行拓扑感知，高效地融合数据并行和模型并行策略。
• 一键启动任意任务的单卡/多卡训练、微调、评估、推理流程。
• 支持用户进行组件化配置任意模块，如优化器、学习策略、网络组装等。
• 提供Trainer、pipeline、AutoClass等高阶易用性接口。

如果您对MindSpore MindFormers有任何建议，请通过Gitee或MindSpore与我们联系，我们将及时处理。

目前支持的模型列表如下：

模型	已支持任务（task name）	已支持模型（model name）
BERT	masked_language_modeling	bert_base_uncased
T5	translation	t5_small
MAE	masked_image_modeling	mae_vit_base_p16
VIT	image_classification	vit_base_p16
Swin	image_classification	swin_base_p4w7
CLIP	contrastive_language_image_pretrain, zero_shot_image_classification	clip_vit_b_32

安装

安装方式1

支持使用以下pip命令直接进行安装0.2.0版本

pip install https://ascend-repo-modelzoo.obs.cn-east-2.myhuaweicloud.com/MindFormers/wheel_packages/0.2.0/mindformers/mindformers-0.2.0-py3-none-any.whl --trusted-host ascend-repo-modelzoo.obs.cn-east-2.myhuaweicloud.com

安装方式2

支持源码编译安装，用户可以执行下述的命令进行包的安装

git clone https://gitee.com/mindspore/transformer.git
cd mindformers
sh build.sh

版本匹配关系

版本对应关系	MindFormers	MindSpore
版本号	0.2.0	1.8.1

快速使用

目前该库提供两种方式供用户使用，套件详细设计请阅：MindFormers套件设计

MindFormers套件对外提供两种使用和开发形式，为开发者提供灵活且简洁的使用方式和高阶开发接口。

方式一：使用已有脚本启动

用户可以直接clone整个仓库，按照以下步骤即可运行套件中已支持的任意configs模型任务配置文件，方便用户快速进行使用和开发：

• 准备工作

  • step1：git clone mindformers

  git clone https://gitee.com/mindspore/transformer.git
  cd mindformers
  

  • step2: 准备相应任务的数据集，请参考configs目录下各模型的README.md文档准备相应数据集

  • step3：修改配置文件configs/{model_name}/task_config/{model_name}_dataset.yaml中数据集路径

  • step4：如果要使用分布式训练，则需提前生成RANK_TABLE_FILE

  # 不包含8本身，生成0~7卡的hccl json文件
  python mindformers/tools/hccl_tools --device_num [0,8]
  

• 单卡启动：统一接口启动，根据模型 CONFIG 完成任意模型的单卡训练、微调、评估、推理流程

# 训练启动，run_status支持train、finetuen、eval、predict三个关键字，以分别完成模型训练、评估、推理功能，默认使用配置文件中的run_status
python run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}

• 多卡启动： scripts 脚本启动，根据模型 CONFIG 完成任意模型的单卡/多卡训练、微调、评估、推理流程

# 8卡分布式运行， DEVICE_RANGE = [0, 8], 不包含8本身
cd scripts
sh run_distribute.sh RANK_TABLE_FILE CONFIG_PATH DEVICE_RANGE RUN_STATUS

• 常用参数说明

RANK_TABLE_FILE: 由mindformers/tools/hccl_tools.py生成的分布式json文件
CONFIG_PATH: 为configs文件夹下面的{model_name}/run_*.yaml配置文件
DEVICE_ID: 为设备卡，范围为0~7
DEVICE_RANGE: 为单机分布式卡的范围, 如[0,8]为8卡分布式，不包含8本身
RUN_STATUS: 为任务运行状态，支持关键字 train\finetune\eval\predict

方式二：调用API启动

• 准备工作

  • step 1：安装mindformers

  目前仅支持源码编译安装，用户可以执行下述的命令进行包的安装：

  git clone https://gitee.com/mindspore/transformer.git
  cd mindformers
  sh build.sh
  

  • step2: 准备数据

  准备相应任务的数据集，请参考configs目录下各模型的README.md文档准备相应数据集。

• Trainer 快速入门

  用户可以通过以上方式安装mindformers库，然后利用Trainer高阶接口执行模型任务的训练、微调、评估、推理功能。

  • Trainer 训练\微调启动

  用户可使用Trainer.train接口完成模型的训练\微调\断点续训\边训练边评估流程。

  from mindformers import Trainer
  
  cls_trainer = Trainer(task='image_classification', # 已支持的任务名
                        model='vit_base_p16', # 已支持的模型名
                        train_dataset="/data/imageNet-1k/train", # 传入标准的训练数据集路径，默认支持ImageNet数据集格式
                        eval_dataset="/data/imageNet-1k/eval") # 传入标准的评估数据集路径，默认支持ImageNet数据集格式
  # Example 1： 开启训练复现流程
  cls_trainer.train()
  # Example 2： 开启边训练边评估功能（要求eval_dataset不能为空）
  cls_trainer.train(do_eval=True)
  # Example 3： 加载集成的mae权重，开启微调流程
  cls_trainer.train(resume_or_finetune_from_checkpoint='mae_vit_base_p16', do_finetune=True)
  # Example 4： 开启断点续训功能（如训练10epochs中断）
  cls_trainer.train(resume_or_finetune_from_checkpoint=True， init_epochs=10)
  

  • Trainer 评估启动

  用户可使用Trainer.evaluate接口完成模型的评估流程。

  from mindformers import Trainer
  
  cls_trainer = Trainer(task='image_classification', # 已支持的任务名
                        model='vit_base_p16', # 已支持的模型名
                        eval_dataset="/data/imageNet-1k/eval") # 传入标准的评估数据集路径，默认支持ImageNet数据集格式
  # Example 1： 开启评估已集成模型权重的复现流程
  cls_trainer.evaluate()
  # Example 2： 开启评估训练得到的最后一个权重
  cls_trainer.evaluate(eval_checkpoint=True)
  # Example 3： 开启评估指定的模型权重
  cls_trainer.evaluate(eval_checkpoint='./output/rank_0/checkpoint/mindformers.ckpt')
  

  结果打印示例(已集成的vit_base_p16模型权重评估分数)：
  Top1 Accuracy=0.8317
  

  • Trainer 推理启动

  用户可使用Trainer.predict接口完成模型的推理流程。

  from mindformers import Trainer
  
  cls_trainer = Trainer(task='image_classification', # 已支持的任务名
                        model='vit_base_p16') # 已支持的模型名
  # Example 1： 开启推理已集成模型（自动加载权重和默认测试图片）
  predict_result_a = cls_trainer.predict()
  # Example 2： 开启推理（自动加载训练得到的最后一个权重）
  predict_result_b = cls_trainer.predict(predict_checkpoint=True)
  # Example 3： 加载指定的权重以完成推理
  predict_result_c = cls_trainer.predict(predict_checkpoint='./output/rank_0/checkpoint/mindformers.ckpt')
  # Example 4： 指定输入的数据完成模型推理
  input_data = './cat.png' # 一张猫的图片
  predict_result_d = cls_trainer.predict(input_data=input_data)
  print(predict_result_d)
  

  结果打印示例(已集成的vit_base_p16模型权重推理结果)：
  {‘label’: 'cat', score: 0.99}
  

• pipeline 快速入门

  MindFormers套件为用户提供了已集成模型的pipeline推理接口，方便用户体验大模型推理服务。

  • pipeline 使用

  from mindformers import pipeline
  from mindformers.tools.image_tools import load_image
  
  test_img = load_image("./sunflower.png") # 一朵太阳花图片
  classifier = pipeline("zero_shot_image_classification",
                        model='clip_vit_b_32'
                        candidate_labels=["sunflower", "tree", "dog", "cat", "toy"])
  predict_result = classifier(test_img)
  print(predict_result)
  

  结果打印示例(已集成的clip_vit_b_32模型权重推理结果)：
   [[{'score': 0.9999547, 'label': 'sunflower'}, {'score': 1.8684346e-05, 'label': 'toy'}, {'score': 1.3045716e-05, 'label': 'dog'}, {'score': 1.129241e-05, 'label': 'tree'}, {'score': 2.1734568e-06, 'label': 'cat'}]]
  

• AutoClass 快速入门

  MindFormers套件为用户提供了高阶AutoClass类，包含AutoConfig、AutoModel、AutoProcessor、AutoTokenizer四类，方便开发者进行调用。

  • AutoConfig 获取已支持的任意模型配置

  from mindformers import AutoConfig
  
  # 获取clip_vit_b_32的模型配置
  clip_vit_b_32_config = AutoConfig.from_pretrained('clip_vit_b_32')
  # 获取vit_base_p16的模型配置
  vit_base_p16_config = AutoConfig.from_pretrained('vit_base_p16')
  

  • AutoModel 获取已支持的网络模型

  from mindformers import AutoModel
  
  # 利用from_pretrained功能实现模型的实例化（默认加载对应权重）
  clip_vit_b_32_a = AutoModel.from_pretrained('clip_vit_b_32')
  # 利用from_config功能实现模型的实例化（默认加载对应权重）
  clip_vit_b_32_config = AutoConfig.from_pretrained('clip_vit_b_32')
  clip_vit_b_32_b = AutoModel.from_config(clip_vit_b_32_config)
  # 利用save_pretrained功能保存模型对应配置
  clip_vit_b_32_b.save_pretrained('./clip', save_name='clip_vit_b_32')
  

  • AutoProcessor 获取已支持的预处理方法

  from mindformers import AutoProcessor
  
  # 通过模型名关键字获取对应模型预处理过程（实例化clip的预处理过程，通常用于Trainer/pipeline推理入参）
  clip_processor_a = AutoProcessor.from_pretrained('clip_vit_b_32')
  # 通过yaml文件获取相应的预处理过程
  clip_processor_b = AutoProcessor.from_pretrained('configs/clip/model_config/clip_vit_b_32.yaml')
  

  • AutoTokenizer 获取已支持的tokenizer方法

  from mindformers import AutoTokenizer
  # 通过模型名关键字获取对应模型预处理过程（实例化clip的tokenizer，通常用于Trainer/pipeline推理入参）
  clip_tokenizer = AutoTokenizer.from_pretrained('clip_vit_b_32')
  

Benchmark

请待补充查看每个模型的复现性能基准。

FAQ

1. 如何迁移HuggingFace权重 ？

请查看待补充

贡献

欢迎参与社区贡献，详情参考Contributor Wiki。

许可证

Apache 2.0许可证