Guanghua Yu f00395437d | 1 year ago | |
---|---|---|
.. | ||
auto_compression | 1 year ago | |
benchmark | 2 years ago | |
cpp | 1 year ago | |
end2end_ppyoloe | 1 year ago | |
lite | 1 year ago | |
pipeline | 1 year ago | |
pptracking | 1 year ago | |
python | 1 year ago | |
serving | 1 year ago | |
third_engine | 1 year ago | |
BENCHMARK_INFER.md | 3 years ago | |
BENCHMARK_INFER_en.md | 2 years ago | |
EXPORT_MODEL.md | 3 years ago | |
EXPORT_MODEL_en.md | 2 years ago | |
EXPORT_ONNX_MODEL.md | 1 year ago | |
EXPORT_ONNX_MODEL_en.md | 1 year ago | |
README.md | 1 year ago | |
README_en.md | 1 year ago | |
TENSOR_RT.md | 1 year ago |
PaddleDetection提供了Paddle Inference、Paddle Serving、Paddle-Lite多种部署形式,支持服务端、移动端、嵌入式等多种平台,提供了完善的Python和C++部署方案。
形式 | 语言 | 教程 | 设备/平台 |
---|---|---|---|
Paddle Inference | Python | 已完善 | Linux(ARM\X86)、Windows |
Paddle Inference | C++ | 已完善 | Linux(ARM\X86)、Windows |
Paddle Serving | Python | 已完善 | Linux(ARM\X86)、Windows |
Paddle-Lite | C++ | 已完善 | Android、IOS、FPGA、RK... |
使用tools/export_model.py
脚本导出模型以及部署时使用的配置文件,配置文件名字为infer_cfg.yml
。模型导出脚本如下:
# 导出YOLOv3模型
python tools/export_model.py -c configs/yolov3/yolov3_mobilenet_v1_roadsign.yml -o weights=output/yolov3_mobilenet_v1_roadsign/best_model.pdparams
预测模型会导出到output_inference/yolov3_mobilenet_v1_roadsign
目录下,分别为infer_cfg.yml
, model.pdiparams
, model.pdiparams.info
, model.pdmodel
。
模型导出具体请参考文档PaddleDetection模型导出教程。
CPU
、GPU
和XPU
环境,支持,windows、linux系统,支持NV Jetson嵌入式设备上部署。参考文档python部署CPU
、GPU
和XPU
环境,支持,windows、linux系统,支持NV Jetson嵌入式设备上部署。参考文档C++部署注意: Paddle预测库版本需要>=2.1,batch_size>1仅支持YOLOv3和PP-YOLO。
如果需要导出PaddleServing
格式的模型,需要设置export_serving_model=True
:
python tools/export_model.py -c configs/yolov3/yolov3_mobilenet_v1_roadsign.yml -o weights=output/yolov3_mobilenet_v1_roadsign/best_model.pdparams --export_serving_model=True
预测模型会导出到output_inference/yolov3_darknet53_270e_coco
目录下,分别为infer_cfg.yml
, model.pdiparams
, model.pdiparams.info
, model.pdmodel
, serving_client/
文件夹, serving_server/
文件夹。
模型导出具体请参考文档PaddleDetection模型导出教程。
Third_Engine | MNN | NCNN | OPENVINO |
---|---|---|---|
PicoDet | PicoDet_MNN | PicoDet_NCNN | PicoDet_OPENVINO |
TinyPose | TinyPose_MNN | - | TinyPose_OPENVINO |
sh deploy/benchmark/benchmark.sh {model_dir} {model_name}
注意 如果是量化模型,请使用deploy/benchmark/benchmark_quant.sh
脚本。
python deploy/benchmark/log_parser_excel.py --log_path=./output_pipeline --output_name=benchmark_excel.xlsx
1、Paddle 1.8.4
训练的模型,可以用Paddle2.0
部署吗?
Paddle 2.0是兼容Paddle 1.8.4的,因此是可以的。但是部分模型(如SOLOv2)使用到了Paddle 2.0中新增OP,这类模型不可以。
2、Windows编译时,预测库是VS2015编译的,选择VS2017或VS2019会有问题吗?
关于VS兼容性问题请参考:C++Visual Studio 2015、2017和2019之间的二进制兼容性
3、cuDNN 8.0.4连续预测会发生内存泄漏吗?
经QA测试,发现cuDNN 8系列连续预测时都有内存泄漏问题,且cuDNN 8性能差于cuDNN 7,推荐使用CUDA + cuDNN7.6.4的方式进行部署。
PaddleDetection是一个基于PaddlePaddle的目标检测端到端开发套件,在提供丰富的模型组件和测试基准的同时,注重端到端的产业落地应用,通过打造产业级特色模型|工具、建设产业应用范例等手段,帮助开发者实现数据准备、模型选型、模型训练、模型部署的全流程打通,快速进行落地应用。
Python Markdown C++ Text Shell other
Dear OpenI User
Thank you for your continuous support to the Openl Qizhi Community AI Collaboration Platform. In order to protect your usage rights and ensure network security, we updated the Openl Qizhi Community AI Collaboration Platform Usage Agreement in January 2024. The updated agreement specifies that users are prohibited from using intranet penetration tools. After you click "Agree and continue", you can continue to use our services. Thank you for your cooperation and understanding.
For more agreement content, please refer to the《Openl Qizhi Community AI Collaboration Platform Usage Agreement》