Tipc (#5380)

* add tipc doc for cpp infer

* add images

* fix

* fix

* fix

* update

* update

* update

* update

* update

* update

docs/tipc_test/README.md

-# tipc 文档
+# 飞桨训推一体认证（TIPC）开发文档
+
+## 1. TIPC简介
+
+飞桨除了基本的模型训练和预测，还提供了支持多端多平台的高性能推理部署工具。飞桨训推一体认证（TIPC）旨在为用户提供所有飞桨模型的训练推理部署打通情况，即TIPC认证信息，同时提供一套自动化测试工具，方便用户进行一键测试。本文主要介绍了TIPC测试的接入规范。
+
+<div align="center">
+    <img src="tipc_guide.png" width="1000">
+</div>
+
+## 2. 接入TIPC
+
+对于已完成训练推理功能开发的模型，可以按照本教程接入TIPC测试。模型训练推理功能开发，请参考[飞桨官方文档](https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/index_cn.html)。TIPC接入流程一般分为`开发测试工具`和`撰写测试文档`两步。
+
+### 2.1 开发测试工具
+
+参考样板间和开发文档完成测试工具开发：
+
+- 测试工具样板间：https://github.com/PaddlePaddle/PaddleOCR/tree/dygraph/test_tipc
+- 测试工具开发文档：
+	- [基础训练预测](./development_specification_docs/train_infer_python.md)
+	- [多机多卡训练]
+	- [混合精度训练]
+	- [c++预测](./development_specification_docs/inference_cpp.md)
+	- [Serving](./development_specification_docs/serving.md)
+	- [Lite ARM CPU](./development_specification_docs/Lite_arm_cpu_cpp_infer.md)
+	- [Lite OpenCL ARM GPU](./development_specification_docs/Lite_arm_gpu_opencl_cpp_infer.md)
+	- [Lite Metal ARM GPU]
+	- [Paddle2ONNX](./development_specification_docs/paddle2onnx.md)
+	- [Paddle.js]
+	- [XPU]
+	- [XPU2]
+	- [DCU]
+	- [NPU]
+	- [Jetson]
+	- [Windows]
+	- [MacOS]
+
+### 2.2 撰写测试文档
+
+参考测试文档样板间撰写测试文档：
+
+- 测试文档样板间：https://github.com/PaddlePaddle/PaddleOCR/blob/dygraph/test_tipc/readme.md
+

docs/tipc_test/开发文档/cpp预测测试开发规范.md → docs/tipc_test/development_specification_docs/inference_cpp.md

@@ -56,7 +56,7 @@ C++预测测试工具位于PaddleOCR dygraph分支下的[test_tipc目录](https:
 ```
 test_tipc/
 ├── configs/  # 配置文件目录
-    ├── ppocr_det_mobile             # ppocr_det_mobile模型的测试配置文件目录
+    ├── ch_ppocr_mobile_v2.0_det      # ch_ppocr_mobile_v2.0_det模型的测试配置文件目录
         ├── model_linux_gpu_normal_normal_infer_cpp_linux_gpu_cpu.txt     # 测试Linux上c++预测的配置文件
 ├── results/   # 预先保存的预测结果，用于和实际预测结果进行精读比对
 	├── cpp_ppocr_det_mobile_results_fp32.txt       # 预存的mobile版ppocr检测模型c++预测的fp32精度的结果

docs/tipc_test/开发文档/python基础训练预测开发文档.md → docs/tipc_test/development_specification_docs/train_infer_python.md

@@ -66,7 +66,7 @@
 ## 1.2 TIPC自动化测试
 
 本规范测试的链条如下（其中相邻两个模块之间是两两组合关系），可以根据套件需要，适当删减链条。
-![pipline](./imgs/pipline.png)
+![pipline](./images/pipline.png)
 
 上图各模块具体测试点如下：
 
@@ -295,7 +295,7 @@ pip3 install ./dist/auto_log-1.0.0-py3-none-any.whl
 使用AutoLog 实现自动化日志输出的功能可以参考PR：https://github.com/PaddlePaddle/PaddleOCR/pull/3182
 
 代码修改有四步，分别是：
-![图片](./imgs/autolog_example.png)
+![图片](./images/autolog_example.png)
 1). 初始化auto_log类：如上图代码所示（参考[PR](https://github.com/PaddlePaddle/PaddleOCR/pull/3182)），调用了auto_log 实现，初始化一个AutoLogger类，传入参数有模型名称、模型精度，batch_size, 输入shape，日志保存路径，inference配置（self.config），pid号和进程名字可选或设置为None，GPU号gpuid；
 AutoLogger的初始化参数：
 ```
@@ -314,13 +314,13 @@ logger: # 用于打印日志的logger，如果设置为None，在类中会自动
 ```
 2). 预测耗时打点：在模型预测中，统计前处理，预测，后处理时间，传入AutoLogger的preprocess_time, inference_time, postprocess_time中；
 
-![图片](./imgs/autolog_time.png)
+![图片](./images/autolog_time.png)
 
 
 3). 打印输出信息：在完成循环预测后，调用AutoLogger的report函数输出log信息。report函数是必须要调用的，否则，统计内存和显存占用的子进程不会关闭。
 其中，text_detector.auto_log.report()实际调用了AutoLogger.report()函数，根据输入的model信息和统计的时间、内存占用信息，规范化输出日志，输入日志格式如下：
 
-![图片](./imgs/autolog_results.png)
+![图片](./images/autolog_results.png)
 
 4). 预测结果正确性校验
 
@@ -334,10 +334,10 @@ python_ppocr_det_mobile_results_fp16.txt
 python_ppocr_det_mobile_results_fp32.txt
 ```
 假设在不同配置下可以得到一系列日志文件：
-![图片](./imgs/tipc_log_list.png)
+![图片](./images/tipc_log_list.png)
 
 配置文件中存放的有不同输入的预测结果：
-![图片](./imgs/tipc_log_results.png)
+![图片](./images/tipc_log_results.png)
 
 因此，可以分别读取预测日志文件中的预测结果和保存在txt文件中的预测结果，验证两个结果是否是一致的。
 
@@ -388,7 +388,7 @@ python版本    运行脚本和配置文件    参数1    参数2    参数3
 实际上，params.txt 中完成以上参数的设置，test_train_inference_python.sh 脚本根据params.txt中的配置组建出一条完整的运行命令。
 
 以文本检测样板间[ppocr_det_mobile/train_infer_python.txt](https://github.com/PaddlePaddle/PaddleOCR/blob/dygraph/test_tipc/configs/ppocr_det_mobile_params.txt)为例，文件中前22行为训练相关的参数，如下图：
-![图片](./imgs/train_infer_params.png)
+![图片](./images/train_infer_params.png)
 
 |行号 | 参数 | 参数介绍 | 对应PaddleSeg参数设置 | 
 |---|---|---|---|
@@ -438,7 +438,7 @@ null:null
 
 ### 3.3 inference预测接入自动化测试
 inference 相关的参数在params.txt中的第27行到51行，如下图：
-![](./imgs/train_infer_params_infer.png)
+![](./images/train_infer_params_infer.png)
 
 
 各行参数介绍和修改方式如下：
@@ -523,7 +523,7 @@ status_check() 状态检查函数，获取上条指令运行的状态，如果
 ```
 同一个模型要测试的组合可以通过一个txt文件管理，如下，构建了一个test_tipc/configs/ppocr_det_mobile/train_infer_python.txt文件 用于管理训练配置。
 
-![](./imgs/train_infer_params_train.png)
+![](./images/train_infer_params_train.png)
 上述部分是test_train_inference_python.sh运行所需要的参数部分，包含正常训练脚本（第16行），量化训练执行脚本（17行），训练所需配置的参数（第4-10行）
 
 在执行test_train_inference_python.sh脚本执行的时候，会解析对应行的参数，如下：
@@ -575,14 +575,14 @@ echo $set_batchsize
 如果value为空格，或者null，则`func_set_params`返回的结果为空格，在组建命令的时候，这个参数就不会生效，因此，如果不希望设置某个参数，可以把参数设置为null。
 
 最终，所有参数可以组合出一个完整的命令，组合方式：
-![](./imgs/train_infer_params_train_run.png)
+![](./images/train_infer_params_train_run.png)
 上图中273行即是组合出的命令，python对应python3.7,  run_train  可以是`ppocr_det_mobile_params.txt`中的`norm_train`，`quant_train`参数后的执行脚本，即要执行正常训练的脚本还是执行量化训练的脚本等等。
 
 ### 4.2 params.txt参数介绍汇总
 文件链接 https://github.com/PaddlePaddle/PaddleOCR/blob/dygraph/test_tipc/configs/ppocr_det_mobile_params.txt
-![](./imgs/train_infer_params1.png)
-![](./imgs/train_infer_params2.png)
-![](./imgs/train_infer_params3.png)
+![](./images/train_infer_params1.png)
+![](./images/train_infer_params2.png)
+![](./images/train_infer_params3.png)
 
 
 ### 4.4 Mac端接入TIPC测试
@@ -598,7 +598,7 @@ echo $set_batchsize
 
 训练参数配置参考[链接](https://github.com/PaddlePaddle/PaddleOCR/blob/bc95e05de88dc7484bc2ed1bb11069455c49ec94/test_tipc/configs/ppocr_det_mobile/train_linux_cpu_normal_normal_infer_python_mac_cpu.txt?_pjax=%23js-repo-pjax-container%2C%20div%5Bitemtype%3D%22http%3A%2F%2Fschema.org%2FSoftwareSourceCode%22%5D%20main%2C%20%5Bdata-pjax-container%5D#L1-L26)，如下：
 
-![图片](./imgs/mac_train_params.png)
+![图片](./images/mac_train_params.png)
 
 可以对比[Linux端参数配置](https://github.com/PaddlePaddle/PaddleOCR/blob/bc95e05de88dc7484bc2ed1bb11069455c49ec94/test_tipc/configs/ppocr_det_mobile/train_infer_python.txt?_pjax=%23js-repo-pjax-container%2C%20div%5Bitemtype%3D%22http%3A%2F%2Fschema.org%2FSoftwareSourceCode%22%5D%20main%2C%20%5Bdata-pjax-container%5D#L1-L26)发现二者的区别。
 

docs/tipc_test/测试文档/Lite_arm_cpp预测测试文档规范.md

-# 背景
-
-基础训练文档对应Lite\_arm\_cpp预测功能测试，主程序为`test_inference_cpp.sh`, 可以在ARM上基于Lite预测库测试模型的C++推理功能。本文介绍Lite\_arm\_cpp预测功能测试文档的撰写规范。
-
-# 文档规范
-
-本文档和[基础训练预测文档]()大体结构类似，主要去掉了训练相关的部分，文档目录结构如下：
-
-# 目录
-- [1.测试结论汇总](#测试结论汇总)
-- [2.测试流程](#测试流程)
-    - [2.1 功能测试](#功能测试)
-        - [2.1.1 基于ARM_CPU测试](#基于ARM_CPU测试)
-        - [2.1.1 基于ARM_GPU_OPENCL测试](#基于ARM_GPU_OPENCL测试)
-    - [2.2 运行结果](#运行结果)
-- [3.更多教程](#更多教程)
-
-<a name="测试结论汇总"></a>
-## 1. 测试结论汇总
-
-目前Lite端的样本间支持以方式的组合：
-
-**字段说明：**
-- 模型类型：包括正常模型（FP32）和量化模型（INT8）
-- batch-size：包括1和4
-- threads：包括1和4
-- predictor数量：包括单predictor预测和多predictor预测
-- 预测库来源：包括下载方式和编译方式
-- 测试硬件：ARM\_CPU/ARM\_GPU_OPENCL
-
-| 模型类型 | batch-size | threads | predictor数量 | 预测库来源 | 测试硬件 |
-|  :----:   |  :----:  | :----:  |  :----:  |  :----:  |  :----:  |
-| 正常模型/量化模型 | 1 | 1/4 |  单/多 | 下载方式 | ARM\_CPU/ARM\_GPU_OPENCL |
-
-<a name="测试流程"></a>
-## 2. 测试流程
-运行环境配置请参考[文档](./install.md)的内容配置TIPC的运行环境。
-
-<a name="功能测试"></a>
-### 2.1 功能测试
-
-先运行`prepare_lite_cpp.sh`，运行后会在当前路径下生成`test_lite.tar`，其中包含了测试数据、测试模型和用于预测的可执行文件。将`test_lite.tar`上传到被测试的手机上，在手机的终端解压该文件，进入`test_lite`目录中，然后运行`test_lite_arm_cpp.sh`进行测试，最终在`test_lite/output`目录下生成`lite_*.log`后缀的日志文件。
-
-<a name="基于ARM_CPU测试"></a>
-#### 2.1.1 基于ARM\_CPU测试
-
-```shell
-
-# 数据和模型准备
-bash test_tipc/prepare_lite_cpp.sh ./test_tipc/configs/ppocr_det_mobile/model_linux_gpu_normal_normal_lite_cpp_arm_cpu.txt
-
-# 手机端测试:
-bash test_lite_arm_cpp.sh model_linux_gpu_normal_normal_lite_cpp_arm_cpu.txt
-
-```  
-
-<a name="基于ARM_GPU_OPENCL测试"></a>
-#### 2.1.2 基于ARM\_GPU\_OPENCL测试
-
-```shell
-
-# 数据和模型准备
-bash test_tipc/prepare_lite_cpp.sh ./test_tipc/configs/ppocr_det_mobile/model_linux_gpu_normal_normal_lite_cpp_arm_gpu_opencl.txt
-
-# 手机端测试:
-bash test_lite_arm_cpp.sh model_linux_gpu_normal_normal_lite_cpp_arm_gpu_opencl.txt
-
-```  
-
-
-**注意**：
-
-1.由于运行该项目需要bash等命令，传统的adb方式不能很好的安装。所以此处推荐通在手机上开启虚拟终端的方式连接电脑，连接方式可以参考[安卓手机通过termux连接电脑](.https://github.com/PaddlePaddle/PaddleOCR/blob/dygraph/test_tipc/docs/termux_for_android.md)。
-
-2.如果测试文本检测和识别完整的pipeline，在执行`prepare_lite_cpp.sh`时，配置文件需替换为`test_tipc/configs/ppocr_system_mobile/model_linux_gpu_normal_normal_lite_cpp_arm_cpu.txt`。在手机端测试阶段，配置文件同样修改为该文件。
-
-<a name="运行结果"></a>
-### 2.2 运行结果
-
-各测试的运行情况会打印在 `./output/` 中：
-运行成功时会输出：
-
-```
-Run successfully with command - ./ocr_db_crnn det ch_PP-OCRv2_det_infer_opt.nb ARM_CPU FP32 1 1  ./test_data/icdar2015_lite/text_localization/ch4_test_images/ ./config.txt True > ./output/lite_ch_PP-OCRv2_det_infer_opt.nb_runtime_device_ARM_CPU_precision_FP32_batchsize_1_threads_1.log 2>&1!
-Run successfully with command xxx
-...
-```
-
-运行失败时会输出：
-
-```
-Run failed with command - ./ocr_db_crnn det ch_PP-OCRv2_det_infer_opt.nb ARM_CPU FP32 1 1  ./test_data/icdar2015_lite/text_localization/ch4_test_images/ ./config.txt True > ./output/lite_ch_PP-OCRv2_det_infer_opt.nb_runtime_device_ARM_CPU_precision_FP32_batchsize_1_threads_1.log 2>&1!
-Run failed with command xxx
-...
-```
-
-在./output/文件夹下，会存在如下日志，每一个日志都是不同配置下的log结果：
-
-<img src="images/lite_log.png" width="1000">
-
-在每一个log中，都会调用autolog打印如下信息：
-
-<img src="images/lite_auto_log.png" width="1000">
-
-
-<a name="更多教程"></a>
-## 3. 更多教程
-
-本文档为功能测试用，更详细的Lite端预测使用教程请参考：[Lite端部署](https://github.com/PaddlePaddle/PaddleOCR/blob/develop/deploy/lite/readme.md)。

docs/tipc_test/测试文档/TIPC测试文档规范.md

-# 目录
-- [1.背景](#背景)
-- [2.目录与命名规范](#目录与命名规范)
-- [3.文档规范](#文档规范)
-	- [3.1 主文档规范](#主文档规范)
-	- [3.2 子文档规范](#子文档规范)
-
-<a name="背景"></a>
-# 1. 背景
-各代码仓库完成TIPC训推一体认证工具开发后，同时需要提供相应的**TIPC测试文档**，方便用户查阅每种模型的推理部署打通情况，并可以按照教程进行一键测试。
-
-本文将**TIPC测试文档**的书写格式进行规范化，分为`目录规范`和`文档规范`两部分。
-
-<a name="目录与命名规范"></a>
-# 2. 目录与命名规范
-**训推一体认证(Training and Inference Pipeline Certification(TIPC))工具目录统一命名为`test_tipc`**，位于代码仓库根目录下，下面以[PaddleOCR样板间](https://github.com/PaddlePaddle/PaddleOCR/tree/dygraph/test_tipc)为例说明目录结构规范。
-```
-test_tipc/
-├── configs/  # 配置文件目录
-    ├── ppocr_det_mobile             # ppocr_det_mobile模型的测试配置文件目录
-        ├── det_mv3_db.yml                  # 测试mobile版ppocr检测模型训练的yml文件
-        ├── train_infer_python.txt.txt      # 测试Linux上python训练预测（基础训练预测）的配置文件
-        ├── model_linux_gpu_normal_normal_infer_cpp_linux_gpu_cpu.txt     # 测试Linux上c++预测的配置文件
-        ├── model_linux_gpu_normal_normal_infer_python_jetson.txt         # 测试Jetson上python预测的配置文件
-        ├── train_linux_gpu_fleet_amp_infer_python_linux_gpu_cpu.txt      # 测试Linux上多机多卡、混合精度训练和python预测的配置文件
-        ├── ...  
-    ├── ppocr_det_server               # ppocr_det_server模型的测试配置文件目录
-        ├── ...  
-    ├── ppocr_rec_mobile               # ppocr_rec_mobile模型的测试配置文件目录
-        ├── ...  
-    ├── ppocr_rec_server               # ppocr_rec_server模型的测试配置文件目录
-        ├── ...  
-    ├── ...  
-├── results/   # 预先保存的预测结果，用于和实际预测结果进行精读比对
-	├── python_ppocr_det_mobile_results_fp32.txt           # 预存的mobile版ppocr检测模型python预测fp32精度的结果
-	├── python_ppocr_det_mobile_results_fp16.txt           # 预存的mobile版ppocr检测模型python预测fp16精度的结果
-	├── cpp_ppocr_det_mobile_results_fp32.txt       # 预存的mobile版ppocr检测模型c++预测的fp32精度的结果
-	├── cpp_ppocr_det_mobile_results_fp16.txt       # 预存的mobile版ppocr检测模型c++预测的fp16精度的结果
-	├── ...
-├── prepare.sh                        # 完成test_*.sh运行所需要的数据和模型下载
-├── test_train_inference_python.sh    # 测试python训练预测的主程序
-├── test_inference_cpp.sh             # 测试c++预测的主程序
-├── test_serving.sh                   # 测试serving部署预测的主程序
-├── test_lite_arm_cpu_cpp.sh          # 测试lite在arm_cpu上部署的C++预测的主程序
-├── compare_results.py                # 用于对比log中的预测结果与results中的预存结果精度误差是否在限定范围内
-└── readme.md                         # 使用文档
-```
-主要关注：
-1. 所有工具位于`test_tipc`目录下，`test_tipc`目录位于代码仓库根目录下；
-2. `results`目录存放精度测试所需的gt文件；
-3. `doc`目录存放readme.md以外的其他子文档；
-4. `prepare.sh`用于准备测试所需的模型、数据等；
-5. `test_*.sh`为测试主程序，按照功能分为多个文件，命名格式为`test_[功能]_[语言].sh`。
-6. `configs`目录存放测试所需的所有配置文件，该目录下，按模型名称划分为子目录，子目录中存放所有该模型测试需要用到的配置文件，配置文件的命名遵循如下规范：
-	
-- 基础训练预测配置简单命名为：`train_infer_python.txt`，表示**Linux环境下单机、不使用混合精度训练+python预测**，其完整命名对应`train_linux_gpu_fleet_amp_infer_python_linux_gpu_cpu.txt`，由于本配置文件使用频率较高，这里进行了名称简化。
-- 其他带训练配置命名格式为：`train_训练硬件环境(linux_gpu/linux_dcu/…)_是否多机(fleet/normal)_是否混合精度(amp/normal)_预测模式(infer/lite/serving/js)_语言(cpp/python/java)_预测硬件环境(linux_gpu/mac/jetson/opencl_arm_gpu/...).txt`。如，linux gpu下多机多卡+混合精度链条测试对应配置 `train_linux_gpu_fleet_amp_infer_python_linux_gpu_cpu.txt`，linux dcu下基础训练预测对应配置 `train_linux_dcu_normal_normal_infer_python_dcu.txt`。
-- 仅预测的配置（如serving、lite等）命名格式：`model_训练硬件环境(linux_gpu/linux_dcu/…)_是否多机(fleet/normal)_是否混合精度(amp/normal)_(infer/lite/serving/js)_语言(cpp/python/java)_预测硬件环境(linux_gpu/mac/jetson/opencl_arm_gpu/...).txt`，即，与2相比，仅第一个字段从train换为model，测试时模型直接下载获取，这里的“训练硬件环境”表示所测试的模型是在哪种环境下训练得到的。
-
-
-<a name="文档规范"></a>
-# 3. 文档规范
-<a name="主文档规范"></a>
-## 3.1 主文档规范
-文档按以下格式进行撰写：
-
-**推理部署导航**
-**1. 简介**
-
-- 内容：主要说明背景，各代码仓库应该差异不大。
-- 示例：![](images/tipc_guide.png)
-
-**2. 汇总信息**
-
-- 内容：给出代码仓库所有模型的预测部署打通情况汇总信息，表格形式呈现，须包含`算法论文`、`模型名称`、`基础训练预测`、`更多训练方式`、`模型压缩`、`其他预测部署`这6个必选字段。
-	- 算法论文：该模型对应的算法，可以是算法简称；
-	- 模型名称：与代码仓库提供模型的名称对应；
-	- 基础训练预测：基础功能的支持情况，包括模型训练、Paddle Inference Python预测的支持情况，是所有代码仓库所有模型必须支持的功能。本字段有`"支持"`和`空缺`两种取值。
-	- 更多训练方式：包括多机多卡、混合精度。
-	- 模型压缩：包括裁剪、离线/在线量化、蒸馏。
-	- 其他预测部署：补充功能的支持情况，包括Paddle Inference C++预测、Paddle Serving部署、Paddle-Lite部署等，是各代码仓库可选支持的功能。填入已支持的功能，尚未支持的不填即可。支持的功能后注明硬件(lite相关)、语言等信息。
-
-- 示例：![](images/tipc_table.png)
-- **注意**：表格内填“支持“或填入了信息均表示可以使用本工具进行一键测试，代码仓库已支持但尚未接入测试的，都算还不支持，不应填写。
-
-**3. 一键测试工具使用**
-目录介绍：测试工具树状图，介绍各目录/文件的功能，示例：
-![图片](images/tipc_dir_tree.png)
-
-测试流程：测试流程整体说明，可参考[PaddleOCR样板间](https://github.com/PaddlePaddle/PaddleOCR/tree/dygraph/test_tipc#%E6%B5%8B%E8%AF%95%E6%B5%81%E7%A8%8B)
-![图片](images/tipc_test_pipeline.png)
-
-**最后需给出跳转链接，到每个test_*.sh的子文档**，如：
-![图片](images/tipc_more_tutorial.png)
-
-<a name="子文档规范"></a>
-## 3.2 子文档规范
-请参考子文档规范文档：  
-- [基础训练预测测试文档规范]()
-- [cpp预测测试文档规范]()
-- [serving测试文档规范]()
-- [lite测试文档规范]()

docs/tipc_test/测试文档/cpp预测测试文档规范.md

-# 背景
-
-基础训练文档对应C++预测功能测试，主程序为`test_inference_cpp.sh`。本文介绍C++预测功能测试文档的撰写规范。
-
-# 文档规范
-
-本文档和[基础训练预测文档]()大体结构类似，主要去掉了训练相关的部分，文档目录结构如下：
-
-### 1.测试结论汇总
-
-内容：基于训练是否使用量化，可以将训练产出的模型可以分为`正常模型`和`量化模型`，表格形式给出这两类模型对应的预测功能汇总情况，包含`模型类型`、`device`、`batchsize`、`tensorrt`、`mkldnn`、`cpu多线程`这6个字段。
-	
-- 模型类型：“正常模型”或“量化模型”；
-- device：CPU或GPU，其他字段取值对应本字段指定的环境；
-- batchsize：一般包括1、6两种batchsize，根据实际支持情况填写。
-- tensorrt：开启tensorrt支持的精度，包括`fp32`、`fp16`、`int8`三种，当device为CPU时，本字段填`-`。
-- mkldnn：开启mkldnn支持的精度，包括`fp32`、`fp16`、`int8`三种，当device为GPU时，本字段填`-`。
-- cpu多线程：支持时填`支持`，不支持时留空即可，当device为GPU时，本字段填`-`。
-
-示例：
-![](images/tipc_cpp_infer_table.png)
-
-
-### 2.测试流程
-#### 2.1 功能测试
-内容1：给出C++预测具体测试命令。  
-示例：
-![](images/tipc_cpp_infer_shell.png)
-
-内容2：给出预测log的解读指引。  
-示例：
-![](images/tipc_cpp_infer_output.png)
-
-#### 2.2 精度测试
-内容：给出精度测试的具体命令和运行结果示例。  
-示例：
-![](images/tipc_infer_compare_results.png)
-
-### 3.更多教程
-内容：给出代码仓库中基础训练预测的具体教程链接。  
-示例：
-![](images/tipc_cpp_infer_more.png)

docs/tipc_test/测试文档/paddle2onnx_text.md

-## 背景
-
-Paddle2ONNX 预测功能测试的主程序为 `test_paddle2onnx.sh`，可以测试基于 Paddle2ONNX 的部署功能。本文介绍 Paddle2ONNX 预测功能测试文档的撰写规范。
-
-## 文档规范
-
-本文档和[基础训练预测文档](todo:add_basic_link)大体结构类似，主要去掉了训练相关的部分，文档目录结构如下：
-
-### 1.测试结论汇总
-
-内容：基于训练是否使用量化，可以将训练产出的模型可以分为`正常模型`和`量化模型`，表格形式给出这两类模型对应的预测功能汇总情况，包含`模型类型`、`device`这2个字段。
-
-- device：CPU 或 GPU，其他字段取值对应本字段指定的环境；
-
-示例：
-
-| 模型类型 |device |
-|  ----   |  ---- |  
-| 正常模型 | GPU |
-| 正常模型 | CPU |
-| 量化模型 | GPU |
-| 量化模型 | CPU |
-
-
-### 2.测试流程
-#### 2.1 功能测试
-内容：给出 Paddle2ONNX 预测具体测试命令。
-示例：
-
-先运行`prepare.sh`准备数据和模型，然后运行`test_paddle2onnx.sh`进行测试，最终在```test_tipc/output```目录下生成`paddle2onnx_infer_*.log`后缀的日志文件。
-
-```shell
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/model_linux_gpu_normal_normal_paddle2onnx_python_linux_cpu.txt "paddle2onnx_infer"
-
-# 用法:
-bash test_tipc/test_paddle2onnx.sh ./test_tipc/configs/ppocr_det_mobile/model_linux_gpu_normal_normal_paddle2onnx_python_linux_cpu.txt
-```  
-
-#### 运行结果
-
-各测试的运行情况会打印在 `test_tipc/output/results_paddle2onnx.log` 中：
-运行成功时会输出：
-
-```
-Run successfully with command -  paddle2onnx  --model_dir=./inference/ch_ppocr_mobile_v2.0_det_infer/ --model_filename=inference.pdmodel --params_filename=inference.pdiparams --save_file=./inference/det_mobile_onnx/model.onnx --opset_version=10  --enable_onnx_checker=True!
-Run successfully with command - python test_tipc/onnx_inference/predict_det.py --use_gpu=False --image_dir=./inference/ch_det_data_50/all-sum-510/ --det_model_dir=./inference/det_mobile_onnx/model.onnx  2>&1 !
-```
-
-运行失败时会输出：
-
-```
-Run failed with command - paddle2onnx  --model_dir=./inference/ch_ppocr_mobile_v2.0_det_infer/ --model_filename=inference.pdmodel --params_filename=inference.pdiparams --save_file=./inference/det_mobile_onnx/model.onnx --opset_version=10  --enable_onnx_checker=True!
-...
-```
-
-#### 2.2 精度测试
-
-由于 Paddle2ONNX 调用了 onnx 预测，因此不做精度对比。

docs/tipc_test/测试文档/serving_test.md

-
-**目录**
-- [背景](#--)
-- [文档规范](#----)
-  * [1.测试结论汇总](#1------)
-  * [2.测试流程](#2----)
-    + [2.1 功能测试](#21-----)
-    + [2.2 精度测试](#22-----)
-
-# 背景
-PaddleServing 预测功能测试的主程序为 `test_serving.sh`，可以测试基于 PaddleServing 的部署功能。本文介绍 PaddleServing 预测功能测试文档的撰写规范。
-
-# 文档规范
-
-本文档和基础训练预测文档大体结构类似，主要去掉了训练相关的部分。
-
-## 1.测试结论汇总
-
-内容：基于训练是否使用量化，可以将训练产出的模型可以分为`正常模型`和`量化模型`，表格形式给出这两类模型对应的预测功能汇总情况，包含`模型类型`、`device`、`batchsize`、`tensorrt`、`mkldnn`、`cpu多线程`这6个字段。
-	
-- 算法名称：该模型对应的算法，可以是算法简称；
-- device：CPU 或 GPU，其他字段取值对应本字段指定的环境；
-- batchsize：一般包括1、6两种 batchsize，根据实际支持情况填写。
-- tensorrt：开启 tensorrt 支持的精度，包括`fp32`、`fp16`、`int8`三种，当 device 为 CPU 时，本字段填`-`。
-- mkldnn：开启 mkldnn 支持的精度，包括`fp32`、`fp16`、`int8`三种，当 device 为 GPU 时，本字段填`-`。
-- cpu多线程：支持时填`支持`，不支持时留空即可，当 device 为 GPU 时，本字段填`-`。
-
-示例：
-
-| 模型类型 |device | batchsize | tensorrt | mkldnn | cpu多线程 |
-|  ----   |  ---- |   ----   |  :----:  |   :----:   |  :----:  |
-| 正常模型 | GPU | 1/6 | fp32/fp16 | - | - |
-| 正常模型 | CPU | 1/6 | - | fp32 | 支持 |
-| 量化模型 | GPU | 1/6 | int8 | - | - |
-| 量化模型 | CPU | 1/6 | - | int8 | 支持 |
-
-## 2.测试流程
-### 2.1 功能测试
-内容：给出 PaddleServing 预测具体测试命令。
-示例：
-![图片](images/tipc_serving_model.jpg)
-### 2.2 精度测试
-
-由于 PaddleServing 调用了 python inference 预测，因此不做精度对比。