Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
FluidDoc
提交
ad109fec
F
FluidDoc
项目概览
PaddlePaddle
/
FluidDoc
通知
5
Star
2
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
23
列表
看板
标记
里程碑
合并请求
111
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
F
FluidDoc
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
23
Issue
23
列表
看板
标记
里程碑
合并请求
111
合并请求
111
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
ad109fec
编写于
12月 17, 2018
作者:
N
nhzlx
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
1. fix typo
2. update compile link path 3. modify cmake compile config.
上级
fada7852
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
7 addition
and
4 deletion
+7
-4
doc/fluid/advanced_usage/deploy/inference/paddle_tensorrt_infer.md
.../advanced_usage/deploy/inference/paddle_tensorrt_infer.md
+7
-4
未找到文件。
doc/fluid/advanced_usage/deploy/inference/paddle_tensorrt_infer.md
浏览文件 @
ad109fec
...
@@ -26,14 +26,17 @@ NVIDIA TensorRT 是一个高性能的深度学习预测库,可为深度学习
...
@@ -26,14 +26,17 @@ NVIDIA TensorRT 是一个高性能的深度学习预测库,可为深度学习
cd /Paddle
cd /Paddle
mkdir build
mkdir build
cd build
cd build
# TENSORRT_ROOT为TRT的路径,默认为 /usr,根据自己需求进行改动
cmake .. \
cmake .. \
-DWITH_FLUID_ONLY=ON \
-DWITH_FLUID_ONLY=ON \
-DWITH_CONTRIB=OFF \
-DWITH_CONTRIB=OFF \
-DWITH_MKL=OFF \
-DWITH_MKL=OFF \
-DWITH_MKLDNN=OFF \
-DWITH_MKLDNN=OFF \
-DWITH_TESTING=O
N
\
-DWITH_TESTING=O
FF
\
-DCMAKE_BUILD_TYPE=Release \
-DCMAKE_BUILD_TYPE=Release \
-DWITH_PYTHON=OFF
-DWITH_PYTHON=OFF \
-DTENSORRT_ROOT=/usr \
-DON_INFER=ON
# 编译
# 编译
make -j
make -j
...
@@ -97,11 +100,11 @@ void RunTensorRT(int batch_size, std::string model_dirname) {
...
@@ -97,11 +100,11 @@ void RunTensorRT(int batch_size, std::string model_dirname) {
int
main
()
{
int
main
()
{
// 模型下载地址 http://paddle-inference-dist.cdn.bcebos.com/tensorrt_test/mobilenet.tar.gz
// 模型下载地址 http://paddle-inference-dist.cdn.bcebos.com/tensorrt_test/mobilenet.tar.gz
paddle
::
RunTensorRT
(
1
,
“
.
/
mobilenet
");
paddle
::
RunTensorRT
(
1
,
"
./mobilenet"
);
return
0
;
return
0
;
}
}
```
```
编译过程可以参照
[
这里
](
https://github.com/
PaddlePaddle/Paddle/tree/develop/paddle/fluid/inference/api/demo_ci
)
。
编译过程可以参照
[
这里
](
https://github.com/
NHZlX/Paddle_TRT_Sample
)
。
## 子图运行原理
## 子图运行原理
PaddlePaddle采用子图的形式对TensorRT进行集成,当模型加载后,神经网络可以表示为由变量和运算节点组成的计算图。Paddle TensorRT实现的功能是能够对整个图进行扫描,发现图中可以使用TensorRT优化的子图,并使用TensorRT节点替换它们。在模型的推断期间,如果遇到TensorRT节点,Paddle会调用TensoRT库对该节点进行优化,其他的节点调用Paddle的原生实现。TensorRT在推断期间能够进行Op的横向和纵向融合,过滤掉冗余的Op,并对特定平台下的特定的Op选择合适的kenel等进行优化,能够加快模型的预测速度。
PaddlePaddle采用子图的形式对TensorRT进行集成,当模型加载后,神经网络可以表示为由变量和运算节点组成的计算图。Paddle TensorRT实现的功能是能够对整个图进行扫描,发现图中可以使用TensorRT优化的子图,并使用TensorRT节点替换它们。在模型的推断期间,如果遇到TensorRT节点,Paddle会调用TensoRT库对该节点进行优化,其他的节点调用Paddle的原生实现。TensorRT在推断期间能够进行Op的横向和纵向融合,过滤掉冗余的Op,并对特定平台下的特定的Op选择合适的kenel等进行优化,能够加快模型的预测速度。
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录