提交 775b32ed 编写于 作者: N nhzlx

fix comments

上级 fd5a433f
# Paddle inference with TensorRT # 使用Paddle TensorRT预测
NVIDIA TensorRT 是一个高性能的深度学习预测库,可为深度学习推理应用程序提供低延迟和高吞吐量。Paddle 1.0 采用了子图的形式对TensorRT进行了初步集成,即我们可以使用该模块来提升Paddle模型的预测性能。该模块依旧在持续开发中,目前已支持的模型有: AlexNet, MobileNet, ResNet50, VGG19, ResNext, MobileNet-SSD等。在这篇文档中,我们将会对Paddle-TensorRT库的获取,使用,以及原理进行相关介绍。 NVIDIA TensorRT 是一个高性能的深度学习预测库,可为深度学习推理应用程序提供低延迟和高吞吐量。Paddle 1.0 采用了子图的形式对TensorRT进行了初步集成,即我们可以使用该模块来提升Paddle模型的预测性能。该模块依旧在持续开发中,目前已支持的模型有:AlexNet, MobileNet, ResNet50, VGG19, ResNext, MobileNet-SSD等。在这篇文档中,我们将会对Paddle-TensorRT库的获取、使用和原理进行介绍。
## 获取Paddle预测库 ## 获取Paddle预测库
**一:使用Docker编译预测库** **一:使用Docker编译预测库**
1. 下载Paddle 1. 下载Paddle
```
git clone https://github.com/PaddlePaddle/Paddle.git ```
``` git clone https://github.com/PaddlePaddle/Paddle.git
```
2. 获取docker镜像 2. 获取docker镜像
```
nvidia-docker run --name paddle_trt -v $PWD/Paddle:/Paddle -it registry.baidu.com/paddlepaddle/paddle:latest-dev /bin/bash ```
``` nvidia-docker run --name paddle_trt -v $PWD/Paddle:/Paddle -it hub.baidubce.com/paddlepaddle/paddle:latest-dev /bin/bash
3. 编译Paddle TensorRT ```
```shell 3. 编译Paddle TensorRT
# 在docker容器中执行以下操作
cd /Paddle ```
mkdir build # 在docker容器中执行以下操作
cd build cd /Paddle
cmake .. \ mkdir build
-DWITH_FLUID_ONLY=ON \ cd build
-DWITH_CONTRIB=OFF \ cmake .. \
-DWITH_MKL=OFF \ -DWITH_FLUID_ONLY=ON \
-DWITH_MKLDNN=OFF \ -DWITH_CONTRIB=OFF \
-DWITH_TESTING=ON \ -DWITH_MKL=OFF \
-DCMAKE_BUILD_TYPE=Release \ -DWITH_MKLDNN=OFF \
-DWITH_PYTHON=OFF -DWITH_TESTING=ON \
-DCMAKE_BUILD_TYPE=Release \
# 编译 -DWITH_PYTHON=OFF
make -j 10
# 生成预测库 # 编译
make inference_lib_dist -j make -j 10
``` # 生成预测库
make inference_lib_dist -j
```
## Paddle TensorRT使用 ## Paddle TensorRT使用
...@@ -106,17 +108,17 @@ int main() { ...@@ -106,17 +108,17 @@ int main() {
编译过程可以参照[`这里。`](https://github.com/PaddlePaddle/Paddle/tree/develop/paddle/fluid/inference/api/demo_ci) 编译过程可以参照[`这里。`](https://github.com/PaddlePaddle/Paddle/tree/develop/paddle/fluid/inference/api/demo_ci)
## 子图运行原理 ## 子图运行原理
PaddlePaddle采用子图的形式对TensorRT进行集成,当模型加载后,神经网络可以表示为由变量和运算节点组成的计算图。Paddle TensorRT实现的功能是能够对整个图进行扫描,发现图中可以使用TensorRT优化的子图,并使用TensorRT节点替换它们。在模型的推断期间,如果遇到TensorRT节点,Paddle会调用TensoRT库对该节点进行优化, 其他的节点调用Paddle的原生实现。TensorRT在推断期间能够进行Op的横向和纵向融合,过滤掉冗余的op,并对特定平台下的特定的Op选择合适的kenel等进行优化, 能够加快模型的预测速度。 PaddlePaddle采用子图的形式对TensorRT进行集成,当模型加载后,神经网络可以表示为由变量和运算节点组成的计算图。Paddle TensorRT实现的功能是能够对整个图进行扫描,发现图中可以使用TensorRT优化的子图,并使用TensorRT节点替换它们。在模型的推断期间,如果遇到TensorRT节点,Paddle会调用TensoRT库对该节点进行优化,其他的节点调用Paddle的原生实现。TensorRT在推断期间能够进行Op的横向和纵向融合,过滤掉冗余的Op,并对特定平台下的特定的Op选择合适的kenel等进行优化,能够加快模型的预测速度。
下图使用一个简单的模型展示了这个过程。我们可以在原始模型网络中看到,绿色节点表示可以被TensorRT支持的节点,红色节点表示网络中的变量,黄色表示Paddle只能被Paddle原生实现执行的节点。那些在原始网络中的绿色节点被提取出来汇集成子图,并由一个TensorRT节点代替,成为转换网络中的block-25 节点。 在网络运行过程中,如果遇到该节点,Paddle将调用TensorRT库来对其执行。 下图使用一个简单的模型展示了这个过程。我们可以在原始模型网络中看到,绿色节点表示可以被TensorRT支持的节点,红色节点表示网络中的变量,黄色表示Paddle只能被Paddle原生实现执行的节点。那些在原始网络中的绿色节点被提取出来汇集成子图,并由一个TensorRT节点代替,成为转换网络中的block-25 节点。在网络运行过程中,如果遇到该节点,Paddle将调用TensorRT库来对其执行。
**原始网络** **原始网络**
<p align="center"> <p align="center">
<img src="./image/model_graph_original.png" width=800> <img src="https://raw.githubusercontent.com/NHZlX/FluidDoc/add_trt_doc/doc/fluid/user_guides/howto/inference/image/model_graph_original.png" width=800>
</p> </p>
**转换的网络** **转换的网络**
<p align="center"> <p align="center">
<img src="./image/model_graph_trt.png" width=800> <img src="https://raw.githubusercontent.com/NHZlX/FluidDoc/add_trt_doc/doc/fluid/user_guides/howto/inference/image/model_graph_trt.png" width=800>
</p> </p>
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册