• GCU_inference_Sample
• • 1. 准备工作
  • • 1.1 PT2Onnx
    • 1.2 Onnx2Engines
  • 2. 推理示例
  • 3. 结果示例

GCU_inference_Sample

• 以PyTorch框架Mnist Lenet5模型为例，简单几步，搞定GCU推理。
• mnist_demo.py

1. 准备工作

1.1 PT2Onnx

• 模型框架转换：鉴于主流厂商采用ONNX推理加速明显，燧原工具也支持模型从TensorFlow/Pytorch等框架转换为ONNX格式；
  • 1. 燧原提供完善的模型框架转换工具链，且ONNX为最主流格式之一，技术成熟
  • 2. 以Pytorch2Onnx为例
  • 方式1：查看启智任务ID：模型 -> 框架转换任务 -> pytorch2onnx -> 1,1,28,28 -> torch_mnist.onnx
• 或方式2：pytorch2onnx 代码

    # 安装环境
    pip3 install onnx
    pip3 install onnxruntime
    pip3 install torch
    pip3 install torchvision

    # 执行转换脚本
    root@cse:/home/pcl/mnist# python3 convert_pt_onnx.py
        device:  cpu
        weights_dict.keys():  odict_keys(['conv1.weight', 'conv1.bias', 'conv2.weight', 'conv2.bias', 'fc1.weight', 'fc1.bias', 'fc2.weight', 'fc2.bias', 'fc3.weight', 'fc3.bias'])
        mnist pytorch2onnx success

1.2 Onnx2Engines

• 生成加速引擎：对ONNX模型网络进行深度优化，生成加速engine。
  加速卡和模型初始化流程：
  • 1. 创建 ONNX 解析器
  • 2. 读取 ONNX 模型
  • 3. 创建优化器，生成优化的推理engine
  • 4. 将推理engine保存到本地文件

    def Onnx2Engines(args):
        # 创建上下文管理器，并声明生成engine所使用的板卡和cluster
        # 第一个参数为板卡ID， 第二个参数为cluster ID
        with TopsInference.device(0, 0) as device:
            # 创建ONNX解析器
            onnx_parser = TopsInference.create_parser(TopsInference.ONNX_MODEL)
            onnx_parser.set_input_names('Input3')
            onnx_parser.set_output_names('Plus214_Output_0')
            onnx_parser.set_input_shapes('1, 1, 28, 28')

            # 读取ONNX模型
            network = onnx_parser.read("mnist.onnx")

            # 创建优化器
            optimizer = TopsInference.create_optimizer()

            # 设置精度模式：TopsInference.KDEFAULT(FP32)/TopsInference.KFP16_MIX(混精)/TopsInference.KFP16
            optimizer.set_build_flag(TopsInference.KFP16_MIX)

            # 根据读取到的ONNX模型，使用优化器生成推理engine
            engine = optimizer.build(network)

            # 将推理engine保存在本地
            engine.save_executable("./mnist.exec")

2. 推理示例

• 一个完整的推理流程如下：
  • 1. 加载 engine
  • 2. 读取数据
  • 3. 使用 engine 执行推理，获得推理结果

    def infer_test(args):
        # pre-process
        img = cv2.imread(args.image)
        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
        gray = cv2.resize(gray, (28,28)).astype(np.float32)/255
        input = np.reshape(gray, (1,1,28,28))
        input = np.array(input, order='C')
        inputs = [input]

        # inference
        TopsInference.create_error_manager()
        with TopsInference.device(0, 0) as device:
            engine = TopsInference.load("./mnist.exec")
            outputs = []
            engine.run(inputs, outputs, TopsInference.TIF_ENGINE_RSC_IN_HOST_OUT_HOST)

        # post-process
        print('output: {}'.format(outputs[0]))
        print('predict result is: %d'%np.argmax(outputs[0]))

3. 结果示例

root@cse:/home/pcl/mnist# python3  mnist_demo.py --image testSample/img_2.jpg
    save mnist.exec success
    output: [[ 18.8125     -12.453125    -0.11877441  -5.671875    -6.1914062
    -1.4794922    2.9414062   -1.6787109   -0.4326172   -0.5209961 ]]
    predict result is: 0