From 50c2074e09d8cee7766aab54ff38abf39cb089cc Mon Sep 17 00:00:00 2001
From: sjtubinlong <binlong.plus@gmail.com>
Date: Thu, 28 Nov 2019 17:38:45 +0800
Subject: [PATCH] update inference docs

---
 deploy/python/README.md                       |  4 +-
 .../docs/compile_paddle_with_tensorrt.md      | 67 +++++++++++++++++++
 2 files changed, 70 insertions(+), 1 deletion(-)
 create mode 100644 deploy/python/docs/compile_paddle_with_tensorrt.md

diff --git a/deploy/python/README.md b/deploy/python/README.md
index 6b375424..cd4fdb83 100644
--- a/deploy/python/README.md
+++ b/deploy/python/README.md
@@ -20,7 +20,7 @@
 
 如何选择合适版本的`PaddlePaddle`版本进行安装，可参考: [PaddlePaddle安装教程](https://www.paddlepaddle.org.cn/install/doc/)
 
-**注意**: 如硬件支持且需要使用`TensorRT`支持`FP16`半精度优化等， 则**本步骤**需要自行安装`TensorRT`并编译`PaddlePaddle`, 点击查看[编译安装参考文档](docs/tensorrt.md)
+**注意**: 如硬件支持且需要使用`TensorRT`支持`FP16`半精度优化等， 则**本步骤**需要自行安装`TensorRT`并编译`PaddlePaddle`, 点击查看[编译安装参考文档](docs/compile_paddle_with_tensorrt.md)
 
 ### 4.2:安装Python依赖包
 在**当前**目录下, 使用`pip`安装`Python`依赖包
@@ -91,6 +91,8 @@ python infer.py --conf=/path/to/deploy.yaml --input_dir/path/to/images_directory
 
 * 优化模型：使用`PaddleSeg 0.3.0`版导出的为优化模型, 此前版本导出的模型即为未优化版本。优化模型把图像的预处理以及后处理部分融入到模型网络中使用`GPU` 完成，相比原来`CPU` 中的处理提升了计算性能。
 
+**注意**: 如果硬件支持且安装的是从源码编译集成`TensorRT`的`PaddlePaddle`, 则可以使用参数`--trt_mode=fp16` 表示开启`FP16` 精度优化, 使用`trt_mode=fp32` 表示使用`FP32` 精度。
+
 运行后程序会扫描`input_dir` 目录下所有指定格式图片，并生成`预测mask`和`可视化的结果`。
 
 对于图片`a.jpeg`, `预测mask` 存在`a_jpeg.png` 中，而可视化结果则在`a_jpeg_result.png` 中。
diff --git a/deploy/python/docs/compile_paddle_with_tensorrt.md b/deploy/python/docs/compile_paddle_with_tensorrt.md
new file mode 100644
index 00000000..e2afad05
--- /dev/null
+++ b/deploy/python/docs/compile_paddle_with_tensorrt.md
@@ -0,0 +1,67 @@
+# PaddlePaddle 集成TensorRT 编译安装文档
+
+本文以`Ubuntu 16.04` 为例说明如何编译支持`TensorRT`的`PaddlePaddle`包。
+
+## 1. 确认依赖的基础软件环境
+- Python 2.7+ / Python 3.5+
+- CUDA 9.0
+- CuDNN 7.5
+- cmake 3.10
+- gcc 4.8.3
+
+## 2. 安装 TensorRT 5.1
+
+请参考`Nvidia`的[官方安装教程](https://docs.nvidia.com/deeplearning/sdk/tensorrt-install-guide/index.html)
+
+## 3. 编译 PaddlePaddle
+
+ 这里假设`Python`版本为`3.7`以及`cuda` `cudnn` `tensorRT`安装路径如下：
+```bash
+# 假设 cuda 安装路径
+/usr/local/cuda-9.0/
+# 假设 cudnn 安装路径
+/usr/local/cudnn-7.5/
+# 假设 tensorRT 安装路径
+/usr/local/TensorRT-5.1/
+```
+
+那么执行如下命令进行编译(请根据实际情况修改)：
+
+```bash
+# 下载 Paddle 代码
+git clone https://github.com/PaddlePaddle/Paddle.git
+# 进入 Paddle 目录
+cd Paddle
+# 创建编译目录
+mkdir build
+cd build
+# cmake 编译
+cmake .. \
+      -DCMAKE_BUILD_TYPE=Release \
+      -DCUDNN_ROOT=/usr/local/cudnn-7.5/ \
+      -DCMAKE_INSTALL_PREFIX=`pwd`/output \
+      -DWITH_PYTHON=ON   \
+      -DON_INFER=ON \
+      -DWITH_GPU=ON \
+      -DCUDA_ARCH_NAME=Auto \
+      -DTENSORRT_INCLUDE_DIR=/usr/local/TensorRT-5.1.5.0/include \
+      -DTENSORRT_LIBRARY=/usr/local/TensorRT-5.1.5.0/lib \
+      -DPY_VERSION=3.7 \
+
+make -j20
+make install
+
+```
+
+编译完成后，在`build/python/dist`目录下会生成一个`whl`包，执行下面的命令安装即可：
+```bash
+pip install -U xxxx.whl
+```
+
+## 4. 验证安装
+进入 `python`, 执行以下代码：
+```python
+import paddle.fluid as fluid
+fluid.install_check.run_check()
+```
+如果出现`Your Paddle Fluid is installed succesfully!`，说明您已成功安装。
-- 
GitLab