PaddleNLP/model_zoo/ernie-3.0/deploy

• FastDeploy ERNIE 3.0 模型高性能部署
• • 支持的NLP任务列表
  • 详细部署文档

FastDeploy ERNIE 3.0 模型高性能部署

⚡️FastDeploy 是一款全场景、易用灵活、极致高效的 AI 推理部署工具，满足开发者多硬件、多平台的产业部署需求。开发者可以基于 FastDeploy 将训练好的预测模型在不同的硬件、不同的推理引擎后端上进行部署。目前 FastDeploy 提供多种编程语言的 SDK，包括 C++、Python 以及 Java SDK。

在部署 ERNIE 3.0 模型前，需要安装 FastDeploy SDK，可参考 FastDeploy SDK安装文档确认部署环境是否满足 FastDeploy 环境要求，并按照介绍安装相应的 SDK。

目前，ERNIE 3.0 模型支持在如下的硬件以及推理引擎进行部署。

符号说明: (1) ✅: 已经支持; (2) ❔: 正在进行中; (3) N/A: 暂不支持;

硬件	可用的推理引擎	是否支持 Paddle 新格式量化模型	是否支持 FP16 模式
CPU	Paddle Inference	✅	N/A
	ONNX Runtime	✅	N/A
	OpenVINO	✅	N/A
GPU	Paddle Inference	✅	N/A
	ONNX Runtime	✅	❔
	Paddle TensorRT	✅	✅
	TensorRT	✅	✅
昆仑芯 XPU	Paddle Lite	N/A	✅
华为 昇腾	Paddle Lite	❔	✅
Graphcore IPU	Paddle Inference	❔	N/A

支持的NLP任务列表

符号说明: (1) ✅: 已经支持; (2) ❔: 正在进行中; (3) N/A: 暂不支持;

任务 Task	部署方式	是否支持
文本分类	Python	✅
	C++	✅
	Serving	✅
序列标注	Python	✅
	C++	✅
	Serving	✅

详细部署文档

ERNIE 3.0 模型支持 Python、C++ 部署以及 Serving 服务化部署。以下是详细文档。

• Python 部署
• C++ 部署
• Serving 部署