Skip to content

P
Paddle

PaddlePaddle / Paddle
大约 2 年 前同步成功

通知 2325
Star 20933
Fork 5424
P
Paddle
已关闭
Opened by saxon_zh@saxon_zhGuest

Paddle TensorRT 编译方法

Created by: velconia

  1. Paddle Repo 中的 inference api 测试如何编译并执行？

Inference API的编译方法参考官方文档，如果需要额外编译 inference API 单测部分，需要修改cmake编译参数如下：

cmake -DFLUID_INFERENCE_INSTALL_DIR=$PADDLE_ROOT \
      -DCMAKE_BUILD_TYPE=Release \
      -DWITH_FLUID_ONLY=ON \
      -DWITH_SWIG_PY=OFF \
      -DWITH_PYTHON=OFF \
      -DWITH_MKL=OFF \
      -DWITH_GPU=OFF  \
      -DON_INFER=ON \
      -DWITH_INFERENCE_API_TEST=ON \
      ..
  1. Paddle TensorRT 如何复现官网文档给出的结果?

请确保复现环境与官网给出的保持一致：

CPU:Intel(R) Xeon(R) Gold 5117 CPU @ 2.00GHz GPU:Tesla P4
TensorRT4.0, CUDA8.0, CUDNNV7
测试模型 ResNet50，MobileNet，ResNet101, Inception V3.

编译参数也与官网给出的保持一致：

cmake -DFLUID_INFERENCE_INSTALL_DIR=$PADDLE_ROOT \
      -DCMAKE_BUILD_TYPE=Release \
      -DWITH_FLUID_ONLY=ON \
      -DWITH_SWIG_PY=OFF \
      -DWITH_PYTHON=OFF \
      -DWITH_MKL=OFF \
      -DWITH_GPU=OFF  \
      -DON_INFER=ON \
      -DWITH_INFERENCE_API_TEST=ON \
      ..