提交 50c2074e 编写于 作者: S sjtubinlong

update inference docs

上级 4f4e6cec
......@@ -20,7 +20,7 @@
如何选择合适版本的`PaddlePaddle`版本进行安装,可参考: [PaddlePaddle安装教程](https://www.paddlepaddle.org.cn/install/doc/)
**注意**: 如硬件支持且需要使用`TensorRT`支持`FP16`半精度优化等, 则**本步骤**需要自行安装`TensorRT`并编译`PaddlePaddle`, 点击查看[编译安装参考文档](docs/tensorrt.md)
**注意**: 如硬件支持且需要使用`TensorRT`支持`FP16`半精度优化等, 则**本步骤**需要自行安装`TensorRT`并编译`PaddlePaddle`, 点击查看[编译安装参考文档](docs/compile_paddle_with_tensorrt.md)
### 4.2:安装Python依赖包
**当前**目录下, 使用`pip`安装`Python`依赖包
......@@ -91,6 +91,8 @@ python infer.py --conf=/path/to/deploy.yaml --input_dir/path/to/images_directory
* 优化模型:使用`PaddleSeg 0.3.0`版导出的为优化模型, 此前版本导出的模型即为未优化版本。优化模型把图像的预处理以及后处理部分融入到模型网络中使用`GPU` 完成,相比原来`CPU` 中的处理提升了计算性能。
**注意**: 如果硬件支持且安装的是从源码编译集成`TensorRT``PaddlePaddle`, 则可以使用参数`--trt_mode=fp16` 表示开启`FP16` 精度优化, 使用`trt_mode=fp32` 表示使用`FP32` 精度。
运行后程序会扫描`input_dir` 目录下所有指定格式图片,并生成`预测mask``可视化的结果`
对于图片`a.jpeg`, `预测mask` 存在`a_jpeg.png` 中,而可视化结果则在`a_jpeg_result.png` 中。
......
# PaddlePaddle 集成TensorRT 编译安装文档
本文以`Ubuntu 16.04` 为例说明如何编译支持`TensorRT``PaddlePaddle`包。
## 1. 确认依赖的基础软件环境
- Python 2.7+ / Python 3.5+
- CUDA 9.0
- CuDNN 7.5
- cmake 3.10
- gcc 4.8.3
## 2. 安装 TensorRT 5.1
请参考`Nvidia`[官方安装教程](https://docs.nvidia.com/deeplearning/sdk/tensorrt-install-guide/index.html)
## 3. 编译 PaddlePaddle
这里假设`Python`版本为`3.7`以及`cuda` `cudnn` `tensorRT`安装路径如下:
```bash
# 假设 cuda 安装路径
/usr/local/cuda-9.0/
# 假设 cudnn 安装路径
/usr/local/cudnn-7.5/
# 假设 tensorRT 安装路径
/usr/local/TensorRT-5.1/
```
那么执行如下命令进行编译(请根据实际情况修改):
```bash
# 下载 Paddle 代码
git clone https://github.com/PaddlePaddle/Paddle.git
# 进入 Paddle 目录
cd Paddle
# 创建编译目录
mkdir build
cd build
# cmake 编译
cmake .. \
-DCMAKE_BUILD_TYPE=Release \
-DCUDNN_ROOT=/usr/local/cudnn-7.5/ \
-DCMAKE_INSTALL_PREFIX=`pwd`/output \
-DWITH_PYTHON=ON \
-DON_INFER=ON \
-DWITH_GPU=ON \
-DCUDA_ARCH_NAME=Auto \
-DTENSORRT_INCLUDE_DIR=/usr/local/TensorRT-5.1.5.0/include \
-DTENSORRT_LIBRARY=/usr/local/TensorRT-5.1.5.0/lib \
-DPY_VERSION=3.7 \
make -j20
make install
```
编译完成后,在`build/python/dist`目录下会生成一个`whl`包,执行下面的命令安装即可:
```bash
pip install -U xxxx.whl
```
## 4. 验证安装
进入 `python`, 执行以下代码:
```python
import paddle.fluid as fluid
fluid.install_check.run_check()
```
如果出现`Your Paddle Fluid is installed succesfully!`,说明您已成功安装。
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册