Skip to content

M
models

PaddlePaddle / models
大约 1 年 前同步成功

通知 222
Star 6828
Fork 2962
M
models
未验证 提交 78825715 编写于 作者: A andyjpaddle 提交者： GitHub
浏览文件
操作

add tipc for cpp infer (#5499)

上级 67d113e0
隐藏空白更改
内联 并排
Showing with 719 addition and 6 deletion
tutorials/mobilenetv3_prod/Step6/test_tipc/README.md
浏览文件 @ 78825715
......@@ -60,7 +60,7 @@ test_tipc
- 更多部署方式测试（coming soon）：
- [Linux GPU/CPU PYTHON 服务化部署测试](docs/test_serving_infer_python.md)
- [Linux GPU/CPU C++ 服务化部署测试]
- [Linux GPU/CPU C++ 推理测试]
- [Linux GPU/CPU C++ 推理测试](docs/test_inference_cpp.md)
- [Paddle.js 部署测试]
- [Paddle2ONNX 测试](docs/test_paddle2onnx.md)
- [Lite ARM CPU 部署测试](docs/test_lite_infer_cpp_arm_cpu.md)
......
tutorials/mobilenetv3_prod/Step6/test_tipc/configs/mobilenet_v3_small/inference_cpp.txt 0 → 100755
浏览文件 @ 78825715
# model load config
use_gpu 0
gpu_id 0
gpu_mem 4000
cpu_math_library_num_threads 10
use_mkldnn 1
use_tensorrt 0
use_fp16 0
# cls config
cls_model_path ./deploy/inference_cpp/mobilenet_v3_small_infer/inference.pdmodel
cls_params_path ./deploy/inference_cpp/mobilenet_v3_small_infer/inference.pdiparams
resize_short_size 256
crop_size 224
tutorials/mobilenetv3_prod/Step6/test_tipc/docs/test_inference_cpp.md 0 → 100644
浏览文件 @ 78825715
# Linux GPU/CPU C++ 推理功能测试
Linux GPU/CPU C++ 推理功能测试的主程序为`test_inference_cpp.sh`，可以测试基于C++预测引擎的推理功能。
## 1. 测试结论汇总
- 推理相关：
| 算法名称 | 模型名称 | device_CPU | device_GPU | tensorrt | mkldnn |
| :----: | :----: | :----: | :----: | :----: | :----: |
| MobileNetV3 | mobilenet_v3_small | 支持 | 支持 | 支持 | 支持 |
## 2. 测试流程
### 2.1 准备数据和推理模型
#### 2.1.1 准备数据
从验证集或者测试集中抽出至少一张图像，用于后续的推理过程验证。
#### 2.1.2 准备推理模型
* 如果已经训练好了模型，可以参考[模型导出](../../tools/export_model.py)，导出`inference model`，用于模型预测。得到预测模型后，假设模型文件放在`inference`目录下，则目录结构如下。
```
mobilenet_v3_small_infer/
|--inference.pdmodel
|--inference.pdiparams
|--inference.pdiparams.info
```
**注意**：上述文件中，`inference.pdmodel`文件存储了模型结构信息，`inference.pdiparams`文件存储了模型参数信息。注意两个文件的路径需要与[配置文件](../configs/mobilenet_v3_small/inference_cpp.txt)中的`cls_model_path`和`cls_params_path`参数对应一致。
### 2.2 准备环境
#### 2.2.1 运行准备
配置合适的编译和执行环境，其中包括编译器，cuda等一些基础库，建议安装docker环境，[参考链接](https://www.paddlepaddle.org.cn/install/quick?docurl=/documentation/docs/zh/install/docker/linux-docker.html)。
#### 2.2.2 编译opencv库
* 首先需要从opencv官网上下载Linux环境下的源码，以3.4.7版本为例，下载及解压缩命令如下：
```
cd deploy/inference_cpp
wget https://github.com/opencv/opencv/archive/3.4.7.tar.gz
tar -xvf 3.4.7.tar.gz
```
* 编译opencv，首先设置opencv源码路径(`root_path`)以及安装路径(`install_path`)，`root_path`为下载的opencv源码路径，`install_path`为opencv的安装路径。在本例中，源码路径即为当前目录下的`opencv-3.4.7/`。
```shell
cd ./opencv-3.4.7
export root_path=$PWD
export install_path=${root_path}/opencv3
```
* 然后在opencv源码路径下，按照下面的命令进行编译。
```shell
rm -rf build
mkdir build
cd build
cmake .. \
-DCMAKE_INSTALL_PREFIX=${install_path} \
-DCMAKE_BUILD_TYPE=Release \
-DBUILD_SHARED_LIBS=OFF \
-DWITH_IPP=OFF \
-DBUILD_IPP_IW=OFF \
-DWITH_LAPACK=OFF \
-DWITH_EIGEN=OFF \
-DCMAKE_INSTALL_LIBDIR=lib64 \
-DWITH_ZLIB=ON \
-DBUILD_ZLIB=ON \
-DWITH_JPEG=ON \
-DBUILD_JPEG=ON \
-DWITH_PNG=ON \
-DBUILD_PNG=ON \
-DWITH_TIFF=ON \
-DBUILD_TIFF=ON
make -j
make install
```
* `make install`完成之后，会在该文件夹下生成opencv头文件和库文件，用于后面的代码编译。
以opencv3.4.7版本为例，最终在安装路径下的文件结构如下所示。**注意**：不同的opencv版本，下述的文件结构可能不同。
```
opencv3/
|-- bin :可执行文件
|-- include :头文件
|-- lib64 :库文件
|-- share :部分第三方库
```
#### 2.2.3 下载或者编译Paddle预测库
* 有2种方式获取Paddle预测库，下面进行详细介绍。
##### 预测库源码编译
* 如果希望获取最新预测库特性，可以从Paddle github上克隆最新代码，源码编译预测库。
* 可以参考[Paddle预测库官网](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/guides/05_inference_deployment/inference/build_and_install_lib_cn.html#id16)的说明，从github上获取Paddle代码，然后进行编译，生成最新的预测库。使用git获取代码方法如下。
```shell
git clone https://github.com/PaddlePaddle/Paddle.git
```
* 进入Paddle目录后，使用如下命令编译。
```shell
rm -rf build
mkdir build
cd build
cmake .. \
-DWITH_CONTRIB=OFF \
-DWITH_MKL=ON \
-DWITH_MKLDNN=ON \
-DWITH_TESTING=OFF \
-DCMAKE_BUILD_TYPE=Release \
-DWITH_INFERENCE_API_TEST=OFF \
-DON_INFER=ON \
-DWITH_PYTHON=ON
make -j
make inference_lib_dist
```
更多编译参数选项可以参考Paddle C++预测库官网：[https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/guides/05_inference_deployment/inference/build_and_install_lib_cn.html#id16](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/guides/05_inference_deployment/inference/build_and_install_lib_cn.html#id16)。
* 编译完成之后，可以在`build/paddle_inference_install_dir/`文件下看到生成了以下文件及文件夹。
```
build/paddle_inference_install_dir/
|-- CMakeCache.txt
|-- paddle
|-- third_party
|-- version.txt
```
其中`paddle`就是之后进行C++预测时所需的Paddle库，`version.txt`中包含当前预测库的版本信息。
##### 直接下载安装
* [Paddle预测库官网](https://paddleinference.paddlepaddle.org.cn/user_guides/download_lib.html)上提供了不同cuda版本的Linux预测库，可以在官网查看并选择合适的预测库版本。
以`manylinux_cuda11.1_cudnn8.1_avx_mkl_trt7_gcc8.2`版本为例，使用下述命令下载并解压：
```shell
wget https://paddle-inference-lib.bj.bcebos.com/2.2.2/cxx_c/Linux/GPU/x86-64_gcc8.2_avx_mkl_cuda11.1_cudnn8.1.1_trt7.2.3.4/paddle_inference.tgz
tar -xvf paddle_inference.tgz
```
最终会在当前的文件夹中生成`paddle_inference/`的子文件夹,文件内容和上述的paddle_inference_install_dir一样。
#### 2.2.4 编译C++预测Demo
* 编译命令如下，其中Paddle C++预测库、opencv等其他依赖库的地址需要换成自己机器上的实际地址。
```shell
sh tools/build.sh
```
具体地，`tools/build.sh`中内容如下。
```shell
OPENCV_DIR=your_opencv_dir
LIB_DIR=your_paddle_inference_dir
CUDA_LIB_DIR=your_cuda_lib_dir
CUDNN_LIB_DIR=your_cudnn_lib_dir
TENSORRT_DIR=your_tensorrt_lib_dir
BUILD_DIR=build
rm -rf ${BUILD_DIR}
mkdir ${BUILD_DIR}
cd ${BUILD_DIR}
cmake .. \
-DPADDLE_LIB=${LIB_DIR} \
-DWITH_MKL=ON \
-DDEMO_NAME=clas_system \
-DWITH_GPU=OFF \
-DWITH_STATIC_LIB=OFF \
-DWITH_TENSORRT=OFF \
-DTENSORRT_DIR=${TENSORRT_DIR} \
-DOPENCV_DIR=${OPENCV_DIR} \
-DCUDNN_LIB=${CUDNN_LIB_DIR} \
-DCUDA_LIB=${CUDA_LIB_DIR} \
make -j
```
上述命令中，
* `OPENCV_DIR`为opencv编译安装的地址（本例中为`opencv-3.4.7/opencv3`文件夹的路径）；
* `LIB_DIR`为下载的Paddle预测库（`paddle_inference`文件夹），或编译生成的Paddle预测库（`build/paddle_inference_install_dir`文件夹）的路径；
* `CUDA_LIB_DIR`为cuda库文件地址，在docker中一般为`/usr/local/cuda/lib64`；
* `CUDNN_LIB_DIR`为cudnn库文件地址，在docker中一般为`/usr/lib64`。
* `TENSORRT_DIR`是tensorrt库文件地址，在dokcer中一般为`/usr/local/TensorRT-7.2.3.4/`，TensorRT需要结合GPU使用。
在执行上述命令，编译完成之后，会在当前路径下生成`build`文件夹，其中生成一个名为`clas_system`的可执行文件。
### 2.3 功能测试
测试方法如下所示，希望测试不同的模型文件，只需更换为自己的参数配置文件，即可完成对应模型的测试。
```bash
bash test_tipc/test_inference_cpp.sh ${your_params_file}
```
以`mobilenet_v3_small`的`Linux GPU/CPU C++推理测试`为例，命令如下所示。
```bash
bash test_tipc/test_inference_cpp.sh test_tipc/configs/mobilenet_v3_small/inference_cpp.txt
```
输出结果如下，表示命令运行成功。
```bash
Run successfully with command - ./deploy/inference_cpp/build/clas_system test_tipc/configs/mobilenet_v3_small/inference_cpp.txt ./images/demo.jpg > ./log/infer_cpp/infer_cpp_use_cpu_use_mkldnn.log 2>&1 !
```
最终log中会打印出结果，如下所示
```
img_file_list length: 1
result:
class id: 8
score: 0.9014719725
Current image path: ./images/demo.jpg
Current time cost: 0.1409450000 s, average time cost in all: 0.1409450000 s.
```
详细log位于`./log/infer_cpp/infer_cpp_use_cpu_use_mkldnn.log`中。
如果运行失败，也会在终端中输出运行失败的日志信息以及对应的运行命令。可以基于该命令，分析运行失败的原因。
tutorials/mobilenetv3_prod/Step6/test_tipc/test_inference_cpp.sh 0 → 100644
浏览文件 @ 78825715
#!/bin/bash
source test_tipc/common_func.sh
function func_parser_key_cpp(){
strs=$1
IFS=" "
array=(${strs})
tmp=${array[0]}
echo ${tmp}
}
function func_parser_value_cpp(){
strs=$1
IFS=" "
array=(${strs})
tmp=${array[1]}
echo ${tmp}
}
FILENAME=$1
dataline=$(cat ${FILENAME})
lines=(${dataline})
# parser params
dataline=$(awk 'NR==1, NR==14{print}' $FILENAME)
IFS=$'\n'
lines=(${dataline})
# parser load config
use_gpu_key=$(func_parser_key_cpp "${lines[1]}")
use_gpu_value=$(func_parser_value_cpp "${lines[1]}")
use_mkldnn_key=$(func_parser_key_cpp "${lines[5]}")
use_mkldnn_value=$(func_parser_value_cpp "${lines[5]}")
use_tensorrt_key=$(func_parser_key_cpp "${lines[6]}")
use_tensorrt_value=$(func_parser_value_cpp "${lines[6]}")
use_fp16_key=$(func_parser_key_cpp "${lines[7]}")
use_fp16_value=$(func_parser_value_cpp "${lines[7]}")
LOG_PATH="./log/infer_cpp"
mkdir -p ${LOG_PATH}
status_log="${LOG_PATH}/results_infer_cpp.log"
function func_infer_cpp(){
# inference cpp
if test $use_gpu_value -gt 0; then
if test $use_tensorrt_value -gt 0; then
if test $use_fp16_value -gt 0; then
_save_log_path="${LOG_PATH}/infer_cpp_${use_gpu_key}_${use_tensorrt_key}_${use_fp16_key}.log"
else
_save_log_path="${LOG_PATH}/infer_cpp_${use_gpu_key}_${use_tensorrt_key}.log"
fi
else
_save_log_path="${LOG_PATH}/infer_cpp_${use_gpu_key}.log"
fi
else
if test $use_mkldnn_value -gt 0; then
_save_log_path="${LOG_PATH}/infer_cpp_use_cpu_${use_mkldnn_key}.log"
else
_save_log_path="${LOG_PATH}/infer_cpp_use_cpu.log"
fi
fi
# run infer cpp
inference_cpp_cmd="./deploy/inference_cpp/build/clas_system"
inference_cpp_img="./images/demo.jpg"
infer_cpp_full_cmd="${inference_cpp_cmd} ${FILENAME} ${inference_cpp_img} > ${_save_log_path} 2>&1 "
eval $infer_cpp_full_cmd
last_status=${PIPESTATUS[0]}
status_check $last_status "${infer_cpp_full_cmd}" "${status_log}"
}
echo "################### run test cpp inference ###################"
func_infer_cpp
tutorials/tipc/README.md
浏览文件 @ 78825715
......@@ -19,7 +19,7 @@
- 更多部署方式开发文档
- [Linux GPU/CPU PYTHON 服务化部署开发文档](./serving_python/README.md)
- Linux GPU/CPU C++ 服务化部署开发文档 (coming soon)
- Linux GPU/CPU C++ 推理开发文档 (coming soon)
- [Linux GPU/CPU C++ 推理开发文档](./infer_cpp/README.md)
- Paddle.js 部署开发文档 (coming soon)
- [Paddle2ONNX 开发文档](./paddle2onnx/README.md)
- [Lite ARM CPU 部署开发文档](./lite_infer_cpp_arm_cpu/README.md)
......
tutorials/tipc/infer_cpp/README.md
浏览文件 @ 78825715
......@@ -38,3 +38,12 @@ Paddle Inference 是飞桨的原生推理库， 作用于服务器端和云端
参考[C++推理文档开发文档](./infer_cpp.md)得到可执行的代码。
## 3. C++推理功能测试开发与规范
### 3.1 开发流程
具体参考[C++推理功能测试开发文档](./test_infer_cpp.md)
### 3.2 核验点
具体参考[C++推理功能测试开发文档](./test_infer_cpp.md)
tutorials/tipc/infer_cpp/test_infer_cpp.md
浏览文件 @ 78825715
......@@ -2,7 +2,378 @@
# 目录
- [1. 简介](#1---)
- [2. 基本C++推理功能测试开发](#2---)
- [3. 高级C++推理功能测试开发](#3---)
- [4. FAQ](#4---)
- [1. 简介](#1)
- [2. 命令与配置文件解析](#2)
- [2.1 命令解析](#2.1)
- [2.2 配置文件和运行命令映射解析](#2.2)
- [3. 基本C++推理功能测试开发](#3)
- [3.1 准备系统环境](#3.1)
- [3.2 准备输入数据和推理模型](#3.2)
- [3.3 准备推理所需代码](#3.3)
- [3.4 编译得到可执行代码](#3.4)
- [3.5 运行得到结果](#3.5)
- [3.6 填写配置文件](#3.6)
- [3.7 验证配置正确性](#3.7)
- [3.8 撰写说明文档](#3.8)
- [4. FAQ](#4)
<a name="1"></a>
## 1. 简介
Paddle Inference 是飞桨的原生推理库， 作用于服务器端和云端，提供高性能的推理能力。相比于直接基于预训练模型进行预测，Paddle Inference可使用MKLDNN、CUDNN、TensorRT进行预测加速，从而实现更优的推理性能。
更多关于Paddle Inference推理引擎的介绍，可以参考[Paddle Inference官网教程](https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/05_inference_deployment/inference/inference_cn.html)。
本文档主要介绍飞桨模型在 Linux GPU/CPU 下基于C++预测引擎的推理过程开发。
<a name="2"></a>
## 2. 命令与配置文件解析
<a name="2.1"></a>
### 2.1 命令解析
基于paddle inference的C++预测命令如下：
```
run_scripts configs_path img_path
```
* `run_scripts`：最终编译好的可执行命令。
* `configs_path`：设置模型路径、是否使用GPU、是否开启mkldnn、是否开启TensorRT等。
* `img_path`：待预测的图像路径。
<a name="2.2"></a>
### 2.2 配置文件解析
完整的`inference_cpp.txt`配置文件共有14行，包含两个方面的内容。
* 运行环境参数配置：第1~8行
* 模型参数配置：第10~14行
具体内容见[inference_cpp.txt](../../mobilenetv3_prod/Step6/test_tipc/configs/mobilenet_v3_small/inference_cpp.txt)
配置文件中主要有以下2种类型的字段。
* 一行内容以空格为分隔符：该行可以被解析为`key value`的格式，需要根据实际的含义修改该行内容，下面进行详细说明。
* 一行内容为`# xxxxx`：该行内容为注释信息，无需修改。
<details>
<summary><b>配置参数（点击以展开详细内容或者折叠）
</b></summary>
| 行号 | 参考内容 | 含义 | key是否需要修改 | value是否需要修改 | 修改内容 |
|----|-------------------------------------|---------------|-----------|-------------|----------------------------------|
| 2 | use_gpu | 是否使用GPU | 否 | 是 | value根据是否使用GPU进行修改 |
| 3 | gpu_id | 使用的GPU卡号 | 否 | 是 | value修改为自己的GPU ID |
| 4 | gpu_mem | 显存 | 否 | 是 | value修改为自己的GPU 显存 |
| 5 | cpu_math_library_num_thread | 底层科学计算库所用线程的数量 | 否 | 是 | value修改为合适的线程数 |
| 6 | use_mkldnn | 是否使用MKLDNN加速 | 否 | 是 | value根据是否使用MKLDNN进行修改 |
| 7 | use_tensorrt | 是否使用tensorRT进行加速 | 否 | 是 | value根据是否使用tensorRT进行修改 |
| 8 | use_fp16 | 是否使用半精度浮点数进行计算，该选项仅在use_tensorrt为true时有效 | 否 | 是 | value根据在开启tensorRT时是否使用半精度进行修改|
| 11 | cls_model_path | 预测模型结构文件路径 | 否 | 是 | value修改为预测模型结构文件路径 |
| 12 | cls_params_path | 预测模型参数文件路径 | 否 | 是 | vvalue修改为预测模型参数文件路径 |
| 13 | resize_short_size | 预处理时图像缩放大小 | 否 | 是 | value修改为预处理时图像缩放大小
| 14 | crop_size | 预处理时图像裁剪后的大小 | 否 | 是 | value修改为预处理时图像裁剪后的大小
</details>
<a name="3"></a>
## 3. 基本C++推理功能测试开发
基于Paddle Inference的推理过程可以分为5个步骤，如下图所示。
<div align="center">
<img src="../images/infer_cpp.png" width="600">
</div>
其中设置了2个核验点，分别为
* 准备输入数据和推理模型
* 编译得到可执行代码
<a name="3.1"></a>
### 3.1 准备系统环境
该部分可参考 [文档](../../mobilenetv3_prod/Step6/test_tipc/docs/test_inference_cpp.md) 中的2.2.1，2.2.1，2.2.3章节准备环境。
<a name="3.2"></a>
### 3.2 准备输入数据和推理模型
该部分可参考 [文档](../../mobilenetv3_prod/Step6/test_tipc/docs/test_inference_cpp.md) 中的2.1章节准备数据和推理模型。
<a name="3.3"></a>
### 3.3 准备推理所需代码
基于预测引擎的推理过程包含4个步骤：初始化预测引擎、预处理、推理、后处理。
#### 3.3.1 初始化预测引擎
**【基本内容】**
该部分主要根据配置文件对预测引擎进行初始化，包括设置模型结构和参数文件路径、是否使用GPU、是否开启MKLDNN、是否开启TensorRT等。
**【实战】**
以mobilenet_v3_small模型为例，推理引擎初始化函数实现如下，其中模型结构和参数文件路径、是否使用GPU、是否开启MKLDNN等内容都是可以配置的。
主要实现在[cls.cpp](../../mobilenetv3_prod/Step6/deploy/inference_cpp/src/cls.cpp)
```c++
void Classifier::LoadModel(const std::string &model_path,
const std::string &params_path) {
paddle_infer::Config config;
config.SetModel(model_path, params_path);
if (this->use_gpu_) {
config.EnableUseGpu(this->gpu_mem_, this->gpu_id_);
if (this->use_tensorrt_) {
config.EnableTensorRtEngine(
1 << 20, 1, 3,
this->use_fp16_ ? paddle_infer::Config::Precision::kHalf
: paddle_infer::Config::Precision::kFloat32,
false, false);
}
} else {
config.DisableGpu();
if (this->use_mkldnn_) {
config.EnableMKLDNN();
// cache 10 different shapes for mkldnn to avoid memory leak
config.SetMkldnnCacheCapacity(10);
}
config.SetCpuMathLibraryNumThreads(this->cpu_math_library_num_threads_);
}
config.SwitchUseFeedFetchOps(false);
// true for multiple input
config.SwitchSpecifyInputNames(true);
config.SwitchIrOptim(true);
config.EnableMemoryOptim();
config.DisableGlogInfo();
this->predictor_ = CreatePredictor(config);
}
```
#### 3.3.2 预处理
**【基本内容】**
该部分主要用来读取指定图像，对其进行数据变换，转化为符合模型推理所需要的输入格式,
**【实战】**
以mobilenet_v3_small模型为例，使用的数据预处理如下:
* resize
* crop
* normalize
* RGB -> CHW
主要实现在[preprocess_op.cpp](../../mobilenetv3_prod/Step6/deploy/inference_cpp/src/preprocess_op.cpp)中。
```c++
//Resize
class ResizeImg {
public:
virtual void Run(const cv::Mat &img, cv::Mat &resize_img, int max_size_len);
};
//Crop
class CenterCropImg {
public:
virtual void Run(cv::Mat &im, const int crop_size = 224);
};
//Norm
class Normalize {
public:
virtual void Run(cv::Mat *im, const std::vector<float> &mean,
const std::vector<float> &scale, const bool is_scale = true);
};
// RGB -> CHW
class Permute {
public:
virtual void Run(const cv::Mat *im, float *data);
};
```
#### 3.3.3 推理
**【基本内容】**
前向推理是主要步骤，会将预处理好的输入图像输出到预测引擎中，得到输出结果。
**【实战】**
以mobilenet_v3_small模型为例，前向推理主要实现在[cls.cpp](../../mobilenetv3_prod/Step6/deploy/inference_cpp/src/cls.cpp)。
```C++
auto input_names = this->predictor_->GetInputNames();
auto input_t = this->predictor_->GetInputHandle(input_names[0]);
input_t->Reshape({1, 3, resize_img.rows, resize_img.cols});
auto start = std::chrono::system_clock::now();
input_t->CopyFromCpu(input.data());
this->predictor_->Run();
std::vector<float> out_data;
auto output_names = this->predictor_->GetOutputNames();
auto output_t = this->predictor_->GetOutputHandle(output_names[0]);
std::vector<int> output_shape = output_t->shape();
int out_num = std::accumulate(output_shape.begin(), output_shape.end(), 1,
std::multiplies<int>());
out_data.resize(out_num);
output_t->CopyToCpu(out_data.data());
```
#### 3.3.4 后处理
**【基本内容】**
模型最后的输出可能是数组，一般并不是我们最后想要获取的结果，因此需要对模型的输出做后处理。
**【实战】**
以mobilenet_v3_small模型为例，模型输出的是一个一维的数组，代表输入图片分类到每个类目的概率，为了得到有实际含义的输出，需要获取该数组中最大值的位置和大小，mobilenet_v3_small的后处理代码如下所示。
```c++
int maxPosition = max_element(out_data.begin(), out_data.end()) - out_data.begin();
int score = out_data[maxPosition];
```
<a name="3.4"></a>
### 3.4 编译得到可执行代码
**【基本内容】**
在准备好相应的代码后需要开始准备编译，这里可以利用cmake来实现。
**【实战】**
以mobilenet_v3_small模型为例，代码示例如：[CMakeLists.txt](../../mobilenetv3_prod/Step6/deploy/inference_cpp/CMakeLists.txt)
```bash
set(DEPS ${DEPS} ${OpenCV_LIBS})
AUX_SOURCE_DIRECTORY(./src SRCS)
add_executable(${DEMO_NAME} ${SRCS})
target_link_libraries(${DEMO_NAME} ${DEPS})
```
执行脚本：
```bash
OPENCV_DIR=../opencv-3.4.7/opencv3/
LIB_DIR=../paddle_inference/
CUDA_LIB_DIR=/usr/local/cuda/lib64
CUDNN_LIB_DIR=/usr/lib64
TENSORRT_DIR=/usr/local/TensorRT-7.2.3.4
BUILD_DIR=build
rm -rf ${BUILD_DIR}
mkdir ${BUILD_DIR}
cd ${BUILD_DIR}
cmake .. \
-DPADDLE_LIB=${LIB_DIR} \
-DWITH_MKL=ON \
-DWITH_GPU=OFF \
-DWITH_STATIC_LIB=OFF \
-DUSE_TENSORRT=OFF \
-DOPENCV_DIR=${OPENCV_DIR} \
-DCUDNN_LIB=${CUDNN_LIB_DIR} \
-DCUDA_LIB=${CUDA_LIB_DIR} \
make -j
```
上述命令中，Paddle C++预测库、opencv等其他依赖库的地址需要换成自己机器上的实际地址。
* `OPENCV_DIR`为opencv编译安装的地址（本例中为`opencv-3.4.7/opencv3`文件夹的路径）；
* `LIB_DIR`为下载的Paddle预测库（`paddle_inference`文件夹），或编译生成的Paddle预测库（`build/paddle_inference_install_dir`文件夹）的路径；
* `CUDA_LIB_DIR`为cuda库文件地址，在docker中一般为`/usr/local/cuda/lib64`；
* `CUDNN_LIB_DIR`为cudnn库文件地址，在docker中一般为`/usr/lib64`。
* `TENSORRT_DIR`是tensorrt库文件地址，在dokcer中一般为`/usr/local/TensorRT-7.2.3.4/`，TensorRT需要结合GPU使用。
在执行上述命令，编译完成之后，会在当前路径下生成`build`文件夹，其中生成一个名为`clas_system`的可执行文件。
<a name="3.5"></a>
### 3.5 运行得到结果
相关脚本位置[run.sh](../../mobilenetv3_prod/Step6/deploy/inference_cpp/tools/run.sh)
```bash
./build/clas_system ./tools/config.txt ../../images/demo.jpg
```
<a name="3.6"></a>
### 3.6 填写配置文件
**【基本内容】**
在repo的`test_tipc/`目录中新建`configs/model_name`，将文件 [inference_cpp.txt](../../mobilenetv3_prod/Step6/test_tipc/configs/mobilenet_v3_small/inference_cpp.txt) 拷贝到该目录中，其中`model_name`需要修改为您自己的模型名称。
**【实战】**
配置文件的含义解析可以参考 [2.2节配置文件解析](#2.2) 部分。
mobilenet_v3_small的测试开发配置文件可以参考：[inference_cpp.txt](../../mobilenetv3_prod/Step6/test_tipc/configs/mobilenet_v3_small/inference_cpp.txt)。
<a name="3.7"></a>
### 3.7 验证配置正确性
**【基本内容】**
基于修改完的配置，运行
```bash
bash test_tipc/test_inference_cpp.sh ${your_params_file}
```
**【注意事项】**
如果运行失败，会输出具体的报错命令，可以根据输出的报错命令排查下配置文件的问题并修改，示例报错如下所示。
```
Run failed with command - ./deploy/inference_cpp/build/clas_system test_tipc/configs/mobilenet_v3_small/inference_cpp.txt ./images/demo.jpg > ./log/infer_cpp/infer_cpp_use_cpu_use_mkldnn.log 2>&1 !
```
**【实战】**
以mobilenet_v3_small的`Linux GPU/CPU C++推理功能测试` 为例，命令如下所示。
```bash
bash test_tipc/test_inference_cpp.sh test_tipc/configs/mobilenet_v3_small/inference_cpp.txt
```
输出结果如下，表示命令运行成功。
```bash
Run successfully with command - ./deploy/inference_cpp/build/clas_system test_tipc/configs/mobilenet_v3_small/inference_cpp.txt ./images/demo.jpg > ./log/infer_cpp/infer_cpp_use_cpu_use_mkldnn.log 2>&1 !
```
也可以在`./log/infer_cpp/infer_cpp_use_cpu_use_mkldnn.log`中查看详细的输出结果。
**【核验】**
基于修改后的配置文件，测试通过，全部命令成功
<a name="3.8"></a>
### 3.8 撰写说明文档
**【基本内容】**
撰写TIPC功能总览和测试流程说明文档，分别为
1. TIPC功能总览文档：test_tipc/README.md
2. Linux GPU/CPU C++推理功能测试说明文档：test_tipc/docs/test_inference_cpp.md
2个文档模板分别位于下述位置，可以直接拷贝到自己的repo中，根据自己的模型进行修改。
1. [README.md](../../mobilenetv3_prod/Step6/test_tipc/README.md)
2. [test_inference_cpp](../../mobilenetv3_prod/Step6/test_tipc/docs/test_inference_cpp.md)
**【实战】**
mobilenet_v3_small中`test_tipc`文档如下所示。
1. TIPC功能总览文档：[README.md](../../mobilenetv3_prod/Step6/test_tipc/README.md)
2. Paddle2ONNX 测试说明文档：[test_inference_cpp.md](../../mobilenetv3_prod/Step6/test_tipc/docs/test_inference_cpp.md)
**【核验】**
repo中最终目录结构如下所示。
```
test_tipc
|--configs # 配置目录
| |--model_name # 您的模型名称
| |--inference_cpp.txt # inference_cpp测试配置文件
|--docs # 文档目录
| |--test_inference_cpp.md # inference_cpp测试说明文档
|----README.md # TIPC说明文档
|----test_inference_cpp.sh # TIPC inference_cpp解析脚本，无需改动
|----common_func.sh # TIPC基础训练推理测试常用函数，无需改动
```
基于`test_inference_cpp.md`文档，跑通`inference_cpp功能测试`流程。
<a name="4"></a>
## 4. FAQ
Markdown is supported
0% 或 .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑！
想要评论请 注册 或