• 如何在启智平台进行GCU PyTorch训练任务
• • 1. 派生项目
  • 2. 创建训练任务
  • • 特别提醒
  • 3. 结果展示

如何在启智平台进行GCU PyTorch训练任务

• 本项目以GCU PyTorch1.10.0 框架单卡/多卡 resnet50、vgg16、inceptionv3、yolo系列、deeplabv3、bert_large、Transformer、gpt2等10+基础示例，旨在为AI开发者提供启智多场景的训练参考。

1. 派生项目

- 派生项目指创建一个示例代码仓的副本到你的账户下
- 你的派生项目与原示例代码仓为两个独立项目，各自的改动不会互相影响，除非你向原项目提出代码变更申请

• gcu_pytorch_modelzoo页面，选择 “派生” -> 按照提示填写内容 -> “派生项目” ：

2. 创建训练任务

• 以单卡bert_base训练为例，选择 “云脑”->“训练任务”->“新建训练任务”：

• “智算网络集群” -> “GCU” -> 按需选择“镜像/启动文件/数据集/资源规格” -> “新建训练任务”。

  • 镜像：gcu_ubuntu_18.04_2.1.52_pytorch_train
  • 启动文件：run_bert_base.py，8卡则填写“run_bert_base_8card.py”，其他模型以此类推，资源规格根据启动文件选择单卡或8卡
  • 数据集：Squad1.1.zip（选择数据集->公开数据集->搜索“gcu”->选择GCU Dataset->勾选Squad1.1.zip），数据集与模型对应关系参考如下表格：

    数据集	对应模型
    imagenet_raw.zip/imagenet50_raw.zip	resnet50、vgg16、inceptionv3……
    coco_2017.zip	yolov3、yolov5系列…
    VOC2012_pytorch_deepLabV3.zip	deeplabv3
    kaggle_carvana.zip	unet
    Squad1.1.zip	bert_base…
    pytorch_bert_large.zip	bert_large
    wmt14_en_de_joined_dict.zip	Transformer

特别提醒

• log：Running情况下没有log更新，大家可以尝试自行修改TopsRider_t2x_2.1.52_samples/models/training/official/pytorch/xxx.py，增加对应的log
• 收敛：
  • resnet50(acc1>75)：epoch=91, 8卡约8H
  • bert_base(f1>87) ：epoch=2, 8卡约30min

3. 结果展示

• 如截图单卡FPS=68.27，假设8卡FPS=65（取值card0, 训练原理8card数据并行fps值几乎一致），则8卡可拓展性（线性度）96.6% (65/68.27)