From 7775a4d1c66f378b95ecd94f537e75e803d6de23 Mon Sep 17 00:00:00 2001 From: Channingss Date: Wed, 6 May 2020 03:05:45 +0000 Subject: [PATCH] add cpp deploy docs --- docs/deploy.md | 50 ++++++++++++- docs/deploy_cpp_linux.md | 114 ++++++++++++++++++++++++++++++ docs/deploy_cpp_win_vs2019.md | 127 ++++++++++++++++++++++++++++++++++ 3 files changed, 289 insertions(+), 2 deletions(-) create mode 100644 docs/deploy_cpp_linux.md create mode 100644 docs/deploy_cpp_win_vs2019.md diff --git a/docs/deploy.md b/docs/deploy.md index 21bd9be..ef38155 100644 --- a/docs/deploy.md +++ b/docs/deploy.md @@ -1,4 +1,8 @@ -# 模型部署导出 +# 模型预测部署 + +本文档指引用户如何采用更高性能地方式来部署使用PaddleX训练的模型。使用本文档模型部署方式，会在模型运算过程中，对模型计算图进行优化，同时减少内存操作，相对比普通的paddlepaddle模型加载和预测方式，预测速度平均可提升1倍，具体各模型性能对比见[预测性能对比](#预测性能对比) + +## 服务端部署 ### 导出inference模型 @@ -10,4 +14,46 @@ paddlex --export_inference --model_dir=./garbage_epoch_12 --save_dir=./inference_model ``` -## 模型C++和Python部署方案预计一周内推出... +### Python部署 +PaddleX已经集成了基于Python的高性能预测接口，在安装PaddleX后，可参照如下代码示例，进行预测。相关的接口文档可参考[paddlex.deploy](apis/deploy.md) +> 点击下载测试图片 [garbage.bmp](https://bj.bcebos.com/paddlex/datasets/garbage.bmp) +``` +import paddlex as pdx +predictorpdx.deploy.create_predictor('./inference_model') +result = predictor.predict(image='garbage.bmp') +``` + +### C++部署 + +C++部署方案位于目录`deploy/cpp/`下，且独立于PaddleX其他模块。该方案支持在 Windows 和 Linux 完成编译、二次开发集成和部署运行。具体使用方法和编译： + +- Linux平台：[linux](deploy_cpp_linux.md) +- window平台：[windows](deploy_cpp_win_vs2019.md) + +### 预测性能对比 + +#### 测试环境 + +- CUDA 9.0 +- CUDNN 7.5 +- PaddlePaddle 1.71 +- GPU: Tesla P40 +- AnalysisPredictor 指采用Python的高性能预测方式 +- Executor 指采用paddlepaddle普通的python预测方式 +- Batch Size均为1，耗时单位为ms/image，只计算模型运行时间，不包括数据的预处理和后处理 + +| 模型 | AnalysisPredictor耗时 | Executor耗时 | 输入图像大小 | +| :---- | :--------------------- | :------------ | :------------ | +| resnet50 | 4.84 | 7.57 | 224*224 | +| mobilenet_v2 | 3.27 | 5.76 | 224*224 | +| unet | 22.51 | 34.60 |513*513 | +| deeplab_mobile | 63.44 | 358.31 |1025*2049 | +| yolo_mobilenetv2 | 15.20 | 19.54 | 608*608 | +| faster_rcnn_r50_fpn_1x | 50.05 | 69.58 |800*1088 | +| faster_rcnn_r50_1x | 326.11 | 347.22 | 800*1067 | +| mask_rcnn_r50_fpn_1x | 67.49 | 91.02 | 800*1088 | +| mask_rcnn_r50_1x | 326.11 | 350.94 | 800*1067 | + +## 移动端部署 + +> Lite模型导出正在集成中，即将开源... diff --git a/docs/deploy_cpp_linux.md b/docs/deploy_cpp_linux.md new file mode 100644 index 0000000..a6c8cdd --- /dev/null +++ b/docs/deploy_cpp_linux.md @@ -0,0 +1,114 @@ +# Linux平台编译指南 + +## 说明 +本文档在 `Linux`平台使用`GCC 4.8.5` 和 `GCC 4.9.4`测试过，如果需要使用更高G++版本编译使用，则需要重新编译Paddle预测库，请参考: [从源码编译Paddle预测库](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_usage/deploy/inference/build_and_install_lib_cn.html#id15)。 + +## 前置条件 +* G++ 4.8.2 ~ 4.9.4 +* CUDA 9.0 / CUDA 10.0, CUDNN 7+ （仅在使用GPU版本的预测库时需要） +* CMake 3.0+ + +请确保系统已经安装好上述基本软件，**下面所有示例以工作目录 `/root/projects/`演示**。 + +### Step1: 下载代码 + + `git clone https://github.com/PaddlePaddle/PaddleX.git` + +**说明**：其中`C++`预测代码在`/root/projects/PaddleX/deploy/cpp` 目录，该目录不依赖任何`PaddleX`下其他目录。 + + +### Step2: 下载PaddlePaddle C++ 预测库 fluid_inference + +PaddlePaddle C++ 预测库针对不同的`CPU`，`CUDA`，以及是否支持TensorRT，提供了不同的预编译版本，请根据实际情况下载: [C++预测库下载列表](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_usage/deploy/inference/build_and_install_lib_cn.html) + + +下载并解压后`/root/projects/fluid_inference`目录包含内容为： +``` +fluid_inference +├── paddle # paddle核心库和头文件 +| +├── third_party # 第三方依赖库和头文件 +| +└── version.txt # 版本和编译信息 +``` + +**注意:** 预编译版本除`nv-jetson-cuda10-cudnn7.5-trt5` 以外其它包都是基于`GCC 4.8.5`编译，使用高版本`GCC`可能存在 `ABI`兼容性问题，建议降级或[自行编译预测库](https://www.paddlepaddle.org.cn/documentation/docs/zh/advanced_guide/inference_deployment/inference/build_and_install_lib_cn.html)。 + + +### Step4: 编译 + +编译`cmake`的命令在`scripts/build.sh`中，请根据实际情况修改主要参数，其主要内容说明如下： +``` +# 是否使用GPU(即是否使用 CUDA) +WITH_GPU=ON +# 是否集成 TensorRT(仅WITH_GPU=ON 有效) +WITH_TENSORRT=OFF +# 上一步下载的 Paddle 预测库路径 +PADDLE_DIR=/root/projects/deps/fluid_inference/ +# OPENCV 路径, 如果使用自带预编译版本可不设置 +OPENCV_DIR=$(pwd)/deps/opencv346/ +# CUDA 的 lib 路径 +CUDA_LIB=/usr/local/cuda/lib64/ +# CUDNN 的 lib 路径 +CUDNN_LIB=/usr/local/cuda/lib64/ + +# 以下无需改动 + +sh $(pwd)/scripts/bootstrap.sh +rm -rf build +mkdir -p build +cd build +cmake .. \ + -DWITH_GPU=${WITH_GPU} \ + -DWITH_TENSORRT=${WITH_TENSORRT} \ + -DPADDLE_DIR=${PADDLE_DIR} \ + -DCUDA_LIB=${CUDA_LIB} \ + -DCUDNN_LIB=${CUDNN_LIB} \ + -DOPENCV_DIR=${OPENCV_DIR} +make + +``` + +修改脚本设置好主要参数后，执行`build`脚本： + ```shell + sh ./scripts/build.sh + ``` + + +### Step5: 预测及可视化 +编译成功后，预测demo的入口程序为`build/detector`，`build/classifer`，`build/segmenter`，其主要命令参数说明如下： + +| 参数 | 说明 | +| ---- | ---- | +| model_dir | 导出的预测模型所在路径 | +| image | 要预测的图片文件路径 | +| image_list | 按行存储图片路径的.txt文件 | +| use_gpu | 是否使用 GPU 预测, 支持值为0或1(默认值为0) | +| gpu_id | GPU 设备ID, 默认值为0 | +| save_dir | 保存可视化结果的路径, 默认值为"output"，classfier无该参数 | + + +`样例一`： + +不使用`GPU`测试图片 `/root/projects/images/test.jpeg` + +```shell +./build/detector --model_dir=/root/projects/models/yolov3_darknet --image=/root/projects/images/test.jpeg +``` +图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 + + +`样例二`: + +使用`GPU`预测多个图片`/root/projects/image_list.txt`，image_list.txt内容的格式如下： +``` +/root/projects/images/test.jpeg +/root/projects/images/test1.jpeg +... +/root/projects/images/testn.jpeg +``` +```shell +./build/detector --model_dir=/root/projects/models/yolov3_darknet --image_list=/root/projects/images_list.txt --use_gpu=1 +``` +图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 + diff --git a/docs/deploy_cpp_win_vs2019.md b/docs/deploy_cpp_win_vs2019.md new file mode 100644 index 0000000..f00893a --- /dev/null +++ b/docs/deploy_cpp_win_vs2019.md @@ -0,0 +1,127 @@ +# Visual Studio 2019 Community CMake 编译指南 + +Windows 平台下，我们使用`Visual Studio 2019 Community` 进行了测试。微软从`Visual Studio 2017`开始即支持直接管理`CMake`跨平台编译项目，但是直到`2019`才提供了稳定和完全的支持，所以如果你想使用CMake管理项目编译构建，我们推荐你使用`Visual Studio 2019`环境下构建。 + + +## 前置条件 +* Visual Studio 2019 +* CUDA 9.0 / CUDA 10.0, CUDNN 7+ （仅在使用GPU版本的预测库时需要） +* CMake 3.0+ + +请确保系统已经安装好上述基本软件，我们使用的是`VS2019`的社区版。 + +**下面所有示例以工作目录为 `D:\projects`演示**。 + +### Step1: 下载代码 + +下载源代码 +```shell +git clone https://github.com/PaddlePaddle/PaddleX.git +``` + +**说明**：其中`C++`预测代码在`PaddleX/deploy/cpp` 目录，该目录不依赖任何`PaddleX`下其他目录。 + + +### Step2: 下载PaddlePaddle C++ 预测库 fluid_inference + +PaddlePaddle C++ 预测库针对不同的`CPU`和`CUDA`版本提供了不同的预编译版本，请根据实际情况下载: [C++预测库下载列表](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/windows_cpp_inference.html) + +解压后`D:\projects\fluid_inference`目录包含内容为： +``` +fluid_inference +├── paddle # paddle核心库和头文件 +| +├── third_party # 第三方依赖库和头文件 +| +└── version.txt # 版本和编译信息 +``` + +### Step3: 安装配置OpenCV + +1. 在OpenCV官网下载适用于Windows平台的3.4.6版本， [下载地址](https://sourceforge.net/projects/opencvlibrary/files/3.4.6/opencv-3.4.6-vc14_vc15.exe/download) +2. 运行下载的可执行文件，将OpenCV解压至指定目录，如`D:\projects\opencv` +3. 配置环境变量，如下流程所示 + - 我的电脑->属性->高级系统设置->环境变量 + - 在系统变量中找到Path（如没有，自行创建），并双击编辑 + - 新建，将opencv路径填入并保存，如`D:\projects\opencv\build\x64\vc14\bin` + +### Step4: 使用Visual Studio 2019直接编译CMake + +1. 打开Visual Studio 2019 Community，点击`继续但无需代码` +![step2](https://paddleseg.bj.bcebos.com/inference/vs2019_step1.png) +2. 点击： `文件`->`打开`->`CMake` +![step2.1](https://paddleseg.bj.bcebos.com/inference/vs2019_step2.png) + +选择项目代码所在路径，并打开`CMakeList.txt`： + +![step2.2](https://paddleseg.bj.bcebos.com/inference/vs2019_step3.png) + +3. 点击：`项目`->`cpp_inference_demo的CMake设置` + +![step3](https://paddleseg.bj.bcebos.com/inference/vs2019_step4.png) + +4. 点击`浏览`，分别设置编译选项指定`CUDA`、`OpenCV`、`Paddle预测库`的路径 + +三个编译参数的含义说明如下（带*表示仅在使用**GPU版本**预测库时指定, 其中CUDA库版本尽量对齐，**使用9.0、10.0版本，不使用9.2、10.1等版本CUDA库**）： + +| 参数名 | 含义 | +| ---- | ---- | +| *CUDA_LIB | CUDA的库路径 | +| OPENCV_DIR | OpenCV的安装路径， | +| PADDLE_DIR | Paddle预测库的路径 | + +**注意：** 1. 使用`CPU`版预测库，请把`WITH_GPU`的勾去掉 2. 如果使用的是`openblas`版本，请把`WITH_MKL`勾去掉 +![step4](https://paddleseg.bj.bcebos.com/inference/vs2019_step5.png) + +**设置完成后**, 点击上图中`保存并生成CMake缓存以加载变量`。 + +5. 点击`生成`->`全部生成` + +![step6](https://paddleseg.bj.bcebos.com/inference/vs2019_step6.png) + + +### Step5: 预测及可视化 + +上述`Visual Studio 2019`编译产出的可执行文件在`out\build\x64-Release`目录下，打开`cmd`，并切换到该目录： + +``` +cd D:\projects\PaddleX\inference\out\build\x64-Release +``` + +编译成功后，预测demo的入口程序为`detector`，`classifer`，`segmenter`，其主要命令参数说明如下： + +| 参数 | 说明 | +| ---- | ---- | +| model_dir | 导出的预测模型所在路径 | +| image | 要预测的图片文件路径 | +| image_list | 按行存储图片路径的.txt文件 | +| use_gpu | 是否使用 GPU 预测, 支持值为0或1(默认值为0) | +| gpu_id | GPU 设备ID, 默认值为0 | +| save_dir | 保存可视化结果的路径, 默认值为"output"，classfier无该参数 | + + +`样例一`： + +不使用`GPU`测试图片 `D:\\images\\test.jpeg` + +```shell +./detector --model_dir=D:\\models\\yolov3_darknet --image=D:\\images\\test.jpeg + +``` +图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 + + +`样例二`: + +使用`GPU`预测多个图片`D:\\images\\image_list.txt`，image_list.txt内容的格式如下： +``` +D:\\images\\test.jpeg +D:\\images\\test1.jpeg +... +D:\\images\\testn.jpeg +``` +```shell +./detector --model_dir=D:\\models\\yolov3_darknet --image_list=D:\\images\\images_list.txt --use_gpu=1 +``` +图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 + -- GitLab