Tipc (#5380)

* add tipc doc for cpp infer

* add images

* fix

* fix

* fix

* update

* update

* update

* update

* update

* update

docs/tipc_test/README.md

-# tipc 文档
+# 飞桨训推一体认证（TIPC）开发文档
+
+## 1. TIPC简介
+
+飞桨除了基本的模型训练和预测，还提供了支持多端多平台的高性能推理部署工具。飞桨训推一体认证（TIPC）旨在为用户提供所有飞桨模型的训练推理部署打通情况，即TIPC认证信息，同时提供一套自动化测试工具，方便用户进行一键测试。本文主要介绍了TIPC测试的接入规范。
+
+<div align="center">
+    <img src="tipc_guide.png" width="1000">
+</div>
+
+## 2. 接入TIPC
+
+对于已完成训练推理功能开发的模型，可以按照本教程接入TIPC测试。模型训练推理功能开发，请参考[飞桨官方文档](https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/index_cn.html)。TIPC接入流程一般分为`开发测试工具`和`撰写测试文档`两步。
+
+### 2.1 开发测试工具
+
+参考样板间和开发文档完成测试工具开发：
+
+- 测试工具样板间：https://github.com/PaddlePaddle/PaddleOCR/tree/dygraph/test_tipc
+- 测试工具开发文档：
+	- [基础训练预测](./development_specification_docs/train_infer_python.md)
+	- [多机多卡训练]
+	- [混合精度训练]
+	- [c++预测](./development_specification_docs/inference_cpp.md)
+	- [Serving](./development_specification_docs/serving.md)
+	- [Lite ARM CPU](./development_specification_docs/Lite_arm_cpu_cpp_infer.md)
+	- [Lite OpenCL ARM GPU](./development_specification_docs/Lite_arm_gpu_opencl_cpp_infer.md)
+	- [Lite Metal ARM GPU]
+	- [Paddle2ONNX](./development_specification_docs/paddle2onnx.md)
+	- [Paddle.js]
+	- [XPU]
+	- [XPU2]
+	- [DCU]
+	- [NPU]
+	- [Jetson]
+	- [Windows]
+	- [MacOS]
+
+### 2.2 撰写测试文档
+
+参考测试文档样板间撰写测试文档：
+
+- 测试文档样板间：https://github.com/PaddlePaddle/PaddleOCR/blob/dygraph/test_tipc/readme.md
+

docs/tipc_test/开发文档/cpp预测测试开发规范.md → docs/tipc_test/development_specification_docs/inference_cpp.md

@@ -56,7 +56,7 @@ C++预测测试工具位于PaddleOCR dygraph分支下的[test_tipc目录](https:
 ```
 test_tipc/
 ├── configs/  # 配置文件目录
-    ├── ppocr_det_mobile             # ppocr_det_mobile模型的测试配置文件目录
+    ├── ch_ppocr_mobile_v2.0_det      # ch_ppocr_mobile_v2.0_det模型的测试配置文件目录
         ├── model_linux_gpu_normal_normal_infer_cpp_linux_gpu_cpu.txt     # 测试Linux上c++预测的配置文件
 ├── results/   # 预先保存的预测结果，用于和实际预测结果进行精读比对
 	├── cpp_ppocr_det_mobile_results_fp32.txt       # 预存的mobile版ppocr检测模型c++预测的fp32精度的结果

docs/tipc_test/开发文档/python基础训练预测开发文档.md → docs/tipc_test/development_specification_docs/train_infer_python.md

@@ -66,7 +66,7 @@
 ## 1.2 TIPC自动化测试
 
 本规范测试的链条如下（其中相邻两个模块之间是两两组合关系），可以根据套件需要，适当删减链条。
-![pipline](./imgs/pipline.png)
+![pipline](./images/pipline.png)
 
 上图各模块具体测试点如下：
 
@@ -295,7 +295,7 @@ pip3 install ./dist/auto_log-1.0.0-py3-none-any.whl
 使用AutoLog 实现自动化日志输出的功能可以参考PR：https://github.com/PaddlePaddle/PaddleOCR/pull/3182
 
 代码修改有四步，分别是：
-![图片](./imgs/autolog_example.png)
+![图片](./images/autolog_example.png)
 1). 初始化auto_log类：如上图代码所示（参考[PR](https://github.com/PaddlePaddle/PaddleOCR/pull/3182)），调用了auto_log 实现，初始化一个AutoLogger类，传入参数有模型名称、模型精度，batch_size, 输入shape，日志保存路径，inference配置（self.config），pid号和进程名字可选或设置为None，GPU号gpuid；
 AutoLogger的初始化参数：
 ```
@@ -314,13 +314,13 @@ logger: # 用于打印日志的logger，如果设置为None，在类中会自动
 ```
 2). 预测耗时打点：在模型预测中，统计前处理，预测，后处理时间，传入AutoLogger的preprocess_time, inference_time, postprocess_time中；
 
-![图片](./imgs/autolog_time.png)
+![图片](./images/autolog_time.png)
 
 
 3). 打印输出信息：在完成循环预测后，调用AutoLogger的report函数输出log信息。report函数是必须要调用的，否则，统计内存和显存占用的子进程不会关闭。
 其中，text_detector.auto_log.report()实际调用了AutoLogger.report()函数，根据输入的model信息和统计的时间、内存占用信息，规范化输出日志，输入日志格式如下：
 
-![图片](./imgs/autolog_results.png)
+![图片](./images/autolog_results.png)
 
 4). 预测结果正确性校验
 
@@ -334,10 +334,10 @@ python_ppocr_det_mobile_results_fp16.txt
 python_ppocr_det_mobile_results_fp32.txt
 ```
 假设在不同配置下可以得到一系列日志文件：
-![图片](./imgs/tipc_log_list.png)
+![图片](./images/tipc_log_list.png)
 
 配置文件中存放的有不同输入的预测结果：
-![图片](./imgs/tipc_log_results.png)
+![图片](./images/tipc_log_results.png)
 
 因此，可以分别读取预测日志文件中的预测结果和保存在txt文件中的预测结果，验证两个结果是否是一致的。
 
@@ -388,7 +388,7 @@ python版本    运行脚本和配置文件    参数1    参数2    参数3
 实际上，params.txt 中完成以上参数的设置，test_train_inference_python.sh 脚本根据params.txt中的配置组建出一条完整的运行命令。
 
 以文本检测样板间[ppocr_det_mobile/train_infer_python.txt](https://github.com/PaddlePaddle/PaddleOCR/blob/dygraph/test_tipc/configs/ppocr_det_mobile_params.txt)为例，文件中前22行为训练相关的参数，如下图：
-![图片](./imgs/train_infer_params.png)
+![图片](./images/train_infer_params.png)
 
 |行号 | 参数 | 参数介绍 | 对应PaddleSeg参数设置 | 
 |---|---|---|---|
@@ -438,7 +438,7 @@ null:null
 
 ### 3.3 inference预测接入自动化测试
 inference 相关的参数在params.txt中的第27行到51行，如下图：
-![](./imgs/train_infer_params_infer.png)
+![](./images/train_infer_params_infer.png)
 
 
 各行参数介绍和修改方式如下：
@@ -523,7 +523,7 @@ status_check() 状态检查函数，获取上条指令运行的状态，如果
 ```
 同一个模型要测试的组合可以通过一个txt文件管理，如下，构建了一个test_tipc/configs/ppocr_det_mobile/train_infer_python.txt文件 用于管理训练配置。
 
-![](./imgs/train_infer_params_train.png)
+![](./images/train_infer_params_train.png)
 上述部分是test_train_inference_python.sh运行所需要的参数部分，包含正常训练脚本（第16行），量化训练执行脚本（17行），训练所需配置的参数（第4-10行）
 
 在执行test_train_inference_python.sh脚本执行的时候，会解析对应行的参数，如下：
@@ -575,14 +575,14 @@ echo $set_batchsize
 如果value为空格，或者null，则`func_set_params`返回的结果为空格，在组建命令的时候，这个参数就不会生效，因此，如果不希望设置某个参数，可以把参数设置为null。
 
 最终，所有参数可以组合出一个完整的命令，组合方式：
-![](./imgs/train_infer_params_train_run.png)
+![](./images/train_infer_params_train_run.png)
 上图中273行即是组合出的命令，python对应python3.7,  run_train  可以是`ppocr_det_mobile_params.txt`中的`norm_train`，`quant_train`参数后的执行脚本，即要执行正常训练的脚本还是执行量化训练的脚本等等。
 
 ### 4.2 params.txt参数介绍汇总
 文件链接 https://github.com/PaddlePaddle/PaddleOCR/blob/dygraph/test_tipc/configs/ppocr_det_mobile_params.txt
-![](./imgs/train_infer_params1.png)
-![](./imgs/train_infer_params2.png)
-![](./imgs/train_infer_params3.png)
+![](./images/train_infer_params1.png)
+![](./images/train_infer_params2.png)
+![](./images/train_infer_params3.png)
 
 
 ### 4.4 Mac端接入TIPC测试
@@ -598,7 +598,7 @@ echo $set_batchsize
 
 训练参数配置参考[链接](https://github.com/PaddlePaddle/PaddleOCR/blob/bc95e05de88dc7484bc2ed1bb11069455c49ec94/test_tipc/configs/ppocr_det_mobile/train_linux_cpu_normal_normal_infer_python_mac_cpu.txt?_pjax=%23js-repo-pjax-container%2C%20div%5Bitemtype%3D%22http%3A%2F%2Fschema.org%2FSoftwareSourceCode%22%5D%20main%2C%20%5Bdata-pjax-container%5D#L1-L26)，如下：
 
-![图片](./imgs/mac_train_params.png)
+![图片](./images/mac_train_params.png)
 
 可以对比[Linux端参数配置](https://github.com/PaddlePaddle/PaddleOCR/blob/bc95e05de88dc7484bc2ed1bb11069455c49ec94/test_tipc/configs/ppocr_det_mobile/train_infer_python.txt?_pjax=%23js-repo-pjax-container%2C%20div%5Bitemtype%3D%22http%3A%2F%2Fschema.org%2FSoftwareSourceCode%22%5D%20main%2C%20%5Bdata-pjax-container%5D#L1-L26)发现二者的区别。
 

docs/tipc_test/测试文档/Lite_arm_cpp预测测试文档规范.md

-# 背景
-
-基础训练文档对应Lite\_arm\_cpp预测功能测试，主程序为`test_inference_cpp.sh`, 可以在ARM上基于Lite预测库测试模型的C++推理功能。本文介绍Lite\_arm\_cpp预测功能测试文档的撰写规范。
-
-# 文档规范
-
-本文档和[基础训练预测文档]()大体结构类似，主要去掉了训练相关的部分，文档目录结构如下：
-
-# 目录
-- [1.测试结论汇总](#测试结论汇总)
-- [2.测试流程](#测试流程)
-    - [2.1 功能测试](#功能测试)
-        - [2.1.1 基于ARM_CPU测试](#基于ARM_CPU测试)
-        - [2.1.1 基于ARM_GPU_OPENCL测试](#基于ARM_GPU_OPENCL测试)
-    - [2.2 运行结果](#运行结果)
-- [3.更多教程](#更多教程)
-
-<a name="测试结论汇总"></a>
-## 1. 测试结论汇总
-
-目前Lite端的样本间支持以方式的组合：
-
-**字段说明：**
-- 模型类型：包括正常模型（FP32）和量化模型（INT8）
-- batch-size：包括1和4
-- threads：包括1和4
-- predictor数量：包括单predictor预测和多predictor预测
-- 预测库来源：包括下载方式和编译方式
-- 测试硬件：ARM\_CPU/ARM\_GPU_OPENCL
-
-| 模型类型 | batch-size | threads | predictor数量 | 预测库来源 | 测试硬件 |
-|  :----:   |  :----:  | :----:  |  :----:  |  :----:  |  :----:  |
-| 正常模型/量化模型 | 1 | 1/4 |  单/多 | 下载方式 | ARM\_CPU/ARM\_GPU_OPENCL |
-
-<a name="测试流程"></a>
-## 2. 测试流程
-运行环境配置请参考[文档](./install.md)的内容配置TIPC的运行环境。
-
-<a name="功能测试"></a>
-### 2.1 功能测试
-
-先运行`prepare_lite_cpp.sh`，运行后会在当前路径下生成`test_lite.tar`，其中包含了测试数据、测试模型和用于预测的可执行文件。将`test_lite.tar`上传到被测试的手机上，在手机的终端解压该文件，进入`test_lite`目录中，然后运行`test_lite_arm_cpp.sh`进行测试，最终在`test_lite/output`目录下生成`lite_*.log`后缀的日志文件。
-
-<a name="基于ARM_CPU测试"></a>
-#### 2.1.1 基于ARM\_CPU测试
-
-```shell
-
-# 数据和模型准备
-bash test_tipc/prepare_lite_cpp.sh ./test_tipc/configs/ppocr_det_mobile/model_linux_gpu_normal_normal_lite_cpp_arm_cpu.txt
-
-# 手机端测试:
-bash test_lite_arm_cpp.sh model_linux_gpu_normal_normal_lite_cpp_arm_cpu.txt
-
-```  
-
-<a name="基于ARM_GPU_OPENCL测试"></a>
-#### 2.1.2 基于ARM\_GPU\_OPENCL测试
-
-```shell
-
-# 数据和模型准备
-bash test_tipc/prepare_lite_cpp.sh ./test_tipc/configs/ppocr_det_mobile/model_linux_gpu_normal_normal_lite_cpp_arm_gpu_opencl.txt
-
-# 手机端测试:
-bash test_lite_arm_cpp.sh model_linux_gpu_normal_normal_lite_cpp_arm_gpu_opencl.txt
-
-```  
-
-
-**注意**：
-
-1.由于运行该项目需要bash等命令，传统的adb方式不能很好的安装。所以此处推荐通在手机上开启虚拟终端的方式连接电脑，连接方式可以参考[安卓手机通过termux连接电脑](.https://github.com/PaddlePaddle/PaddleOCR/blob/dygraph/test_tipc/docs/termux_for_android.md)。
-
-2.如果测试文本检测和识别完整的pipeline，在执行`prepare_lite_cpp.sh`时，配置文件需替换为`test_tipc/configs/ppocr_system_mobile/model_linux_gpu_normal_normal_lite_cpp_arm_cpu.txt`。在手机端测试阶段，配置文件同样修改为该文件。
-
-<a name="运行结果"></a>
-### 2.2 运行结果
-
-各测试的运行情况会打印在 `./output/` 中：
-运行成功时会输出：
-
-```
-Run successfully with command - ./ocr_db_crnn det ch_PP-OCRv2_det_infer_opt.nb ARM_CPU FP32 1 1  ./test_data/icdar2015_lite/text_localization/ch4_test_images/ ./config.txt True > ./output/lite_ch_PP-OCRv2_det_infer_opt.nb_runtime_device_ARM_CPU_precision_FP32_batchsize_1_threads_1.log 2>&1!
-Run successfully with command xxx
-...
-```
-
-运行失败时会输出：
-
-```
-Run failed with command - ./ocr_db_crnn det ch_PP-OCRv2_det_infer_opt.nb ARM_CPU FP32 1 1  ./test_data/icdar2015_lite/text_localization/ch4_test_images/ ./config.txt True > ./output/lite_ch_PP-OCRv2_det_infer_opt.nb_runtime_device_ARM_CPU_precision_FP32_batchsize_1_threads_1.log 2>&1!
-Run failed with command xxx
-...
-```
-
-在./output/文件夹下，会存在如下日志，每一个日志都是不同配置下的log结果：
-
-<img src="images/lite_log.png" width="1000">
-
-在每一个log中，都会调用autolog打印如下信息：
-
-<img src="images/lite_auto_log.png" width="1000">
-
-
-<a name="更多教程"></a>
-## 3. 更多教程
-
-本文档为功能测试用，更详细的Lite端预测使用教程请参考：[Lite端部署](https://github.com/PaddlePaddle/PaddleOCR/blob/develop/deploy/lite/readme.md)。

docs/tipc_test/测试文档/TIPC测试文档规范.md

-# 目录
-- [1.背景](#背景)
-- [2.目录与命名规范](#目录与命名规范)
-- [3.文档规范](#文档规范)
-	- [3.1 主文档规范](#主文档规范)
-	- [3.2 子文档规范](#子文档规范)
-
-<a name="背景"></a>
-# 1. 背景
-各代码仓库完成TIPC训推一体认证工具开发后，同时需要提供相应的**TIPC测试文档**，方便用户查阅每种模型的推理部署打通情况，并可以按照教程进行一键测试。
-
-本文将**TIPC测试文档**的书写格式进行规范化，分为`目录规范`和`文档规范`两部分。
-
-<a name="目录与命名规范"></a>
-# 2. 目录与命名规范
-**训推一体认证(Training and Inference Pipeline Certification(TIPC))工具目录统一命名为`test_tipc`**，位于代码仓库根目录下，下面以[PaddleOCR样板间](https://github.com/PaddlePaddle/PaddleOCR/tree/dygraph/test_tipc)为例说明目录结构规范。
-```
-test_tipc/
-├── configs/  # 配置文件目录
-    ├── ppocr_det_mobile             # ppocr_det_mobile模型的测试配置文件目录
-        ├── det_mv3_db.yml                  # 测试mobile版ppocr检测模型训练的yml文件
-        ├── train_infer_python.txt.txt      # 测试Linux上python训练预测（基础训练预测）的配置文件
-        ├── model_linux_gpu_normal_normal_infer_cpp_linux_gpu_cpu.txt     # 测试Linux上c++预测的配置文件
-        ├── model_linux_gpu_normal_normal_infer_python_jetson.txt         # 测试Jetson上python预测的配置文件
-        ├── train_linux_gpu_fleet_amp_infer_python_linux_gpu_cpu.txt      # 测试Linux上多机多卡、混合精度训练和python预测的配置文件
-        ├── ...  
-    ├── ppocr_det_server               # ppocr_det_server模型的测试配置文件目录
-        ├── ...  
-    ├── ppocr_rec_mobile               # ppocr_rec_mobile模型的测试配置文件目录
-        ├── ...  
-    ├── ppocr_rec_server               # ppocr_rec_server模型的测试配置文件目录
-        ├── ...  
-    ├── ...  
-├── results/   # 预先保存的预测结果，用于和实际预测结果进行精读比对
-	├── python_ppocr_det_mobile_results_fp32.txt           # 预存的mobile版ppocr检测模型python预测fp32精度的结果
-	├── python_ppocr_det_mobile_results_fp16.txt           # 预存的mobile版ppocr检测模型python预测fp16精度的结果
-	├── cpp_ppocr_det_mobile_results_fp32.txt       # 预存的mobile版ppocr检测模型c++预测的fp32精度的结果
-	├── cpp_ppocr_det_mobile_results_fp16.txt       # 预存的mobile版ppocr检测模型c++预测的fp16精度的结果
-	├── ...
-├── prepare.sh                        # 完成test_*.sh运行所需要的数据和模型下载
-├── test_train_inference_python.sh    # 测试python训练预测的主程序
-├── test_inference_cpp.sh             # 测试c++预测的主程序
-├── test_serving.sh                   # 测试serving部署预测的主程序
-├── test_lite_arm_cpu_cpp.sh          # 测试lite在arm_cpu上部署的C++预测的主程序
-├── compare_results.py                # 用于对比log中的预测结果与results中的预存结果精度误差是否在限定范围内
-└── readme.md                         # 使用文档
-```
-主要关注：
-1. 所有工具位于`test_tipc`目录下，`test_tipc`目录位于代码仓库根目录下；
-2. `results`目录存放精度测试所需的gt文件；
-3. `doc`目录存放readme.md以外的其他子文档；
-4. `prepare.sh`用于准备测试所需的模型、数据等；
-5. `test_*.sh`为测试主程序，按照功能分为多个文件，命名格式为`test_[功能]_[语言].sh`。
-6. `configs`目录存放测试所需的所有配置文件，该目录下，按模型名称划分为子目录，子目录中存放所有该模型测试需要用到的配置文件，配置文件的命名遵循如下规范：
-	
-- 基础训练预测配置简单命名为：`train_infer_python.txt`，表示**Linux环境下单机、不使用混合精度训练+python预测**，其完整命名对应`train_linux_gpu_fleet_amp_infer_python_linux_gpu_cpu.txt`，由于本配置文件使用频率较高，这里进行了名称简化。
-- 其他带训练配置命名格式为：`train_训练硬件环境(linux_gpu/linux_dcu/…)_是否多机(fleet/normal)_是否混合精度(amp/normal)_预测模式(infer/lite/serving/js)_语言(cpp/python/java)_预测硬件环境(linux_gpu/mac/jetson/opencl_arm_gpu/...).txt`。如，linux gpu下多机多卡+混合精度链条测试对应配置 `train_linux_gpu_fleet_amp_infer_python_linux_gpu_cpu.txt`，linux dcu下基础训练预测对应配置 `train_linux_dcu_normal_normal_infer_python_dcu.txt`。
-- 仅预测的配置（如serving、lite等）命名格式：`model_训练硬件环境(linux_gpu/linux_dcu/…)_是否多机(fleet/normal)_是否混合精度(amp/normal)_(infer/lite/serving/js)_语言(cpp/python/java)_预测硬件环境(linux_gpu/mac/jetson/opencl_arm_gpu/...).txt`，即，与2相比，仅第一个字段从train换为model，测试时模型直接下载获取，这里的“训练硬件环境”表示所测试的模型是在哪种环境下训练得到的。
-
-
-<a name="文档规范"></a>
-# 3. 文档规范
-<a name="主文档规范"></a>
-## 3.1 主文档规范
-文档按以下格式进行撰写：
-
-**推理部署导航**
-**1. 简介**
-
-- 内容：主要说明背景，各代码仓库应该差异不大。
-- 示例：![](images/tipc_guide.png)
-
-**2. 汇总信息**
-
-- 内容：给出代码仓库所有模型的预测部署打通情况汇总信息，表格形式呈现，须包含`算法论文`、`模型名称`、`基础训练预测`、`更多训练方式`、`模型压缩`、`其他预测部署`这6个必选字段。
-	- 算法论文：该模型对应的算法，可以是算法简称；
-	- 模型名称：与代码仓库提供模型的名称对应；
-	- 基础训练预测：基础功能的支持情况，包括模型训练、Paddle Inference Python预测的支持情况，是所有代码仓库所有模型必须支持的功能。本字段有`"支持"`和`空缺`两种取值。
-	- 更多训练方式：包括多机多卡、混合精度。
-	- 模型压缩：包括裁剪、离线/在线量化、蒸馏。
-	- 其他预测部署：补充功能的支持情况，包括Paddle Inference C++预测、Paddle Serving部署、Paddle-Lite部署等，是各代码仓库可选支持的功能。填入已支持的功能，尚未支持的不填即可。支持的功能后注明硬件(lite相关)、语言等信息。
-
-- 示例：![](images/tipc_table.png)
-- **注意**：表格内填“支持“或填入了信息均表示可以使用本工具进行一键测试，代码仓库已支持但尚未接入测试的，都算还不支持，不应填写。
-
-**3. 一键测试工具使用**
-目录介绍：测试工具树状图，介绍各目录/文件的功能，示例：
-![图片](images/tipc_dir_tree.png)
-
-测试流程：测试流程整体说明，可参考[PaddleOCR样板间](https://github.com/PaddlePaddle/PaddleOCR/tree/dygraph/test_tipc#%E6%B5%8B%E8%AF%95%E6%B5%81%E7%A8%8B)
-![图片](images/tipc_test_pipeline.png)
-
-**最后需给出跳转链接，到每个test_*.sh的子文档**，如：
-![图片](images/tipc_more_tutorial.png)
-
-<a name="子文档规范"></a>
-## 3.2 子文档规范
-请参考子文档规范文档：  
-- [基础训练预测测试文档规范]()
-- [cpp预测测试文档规范]()
-- [serving测试文档规范]()
-- [lite测试文档规范]()

docs/tipc_test/测试文档/cpp预测测试文档规范.md

-# 背景
-
-基础训练文档对应C++预测功能测试，主程序为`test_inference_cpp.sh`。本文介绍C++预测功能测试文档的撰写规范。
-
-# 文档规范
-
-本文档和[基础训练预测文档]()大体结构类似，主要去掉了训练相关的部分，文档目录结构如下：
-
-### 1.测试结论汇总
-
-内容：基于训练是否使用量化，可以将训练产出的模型可以分为`正常模型`和`量化模型`，表格形式给出这两类模型对应的预测功能汇总情况，包含`模型类型`、`device`、`batchsize`、`tensorrt`、`mkldnn`、`cpu多线程`这6个字段。
-	
-- 模型类型：“正常模型”或“量化模型”；
-- device：CPU或GPU，其他字段取值对应本字段指定的环境；
-- batchsize：一般包括1、6两种batchsize，根据实际支持情况填写。
-- tensorrt：开启tensorrt支持的精度，包括`fp32`、`fp16`、`int8`三种，当device为CPU时，本字段填`-`。
-- mkldnn：开启mkldnn支持的精度，包括`fp32`、`fp16`、`int8`三种，当device为GPU时，本字段填`-`。
-- cpu多线程：支持时填`支持`，不支持时留空即可，当device为GPU时，本字段填`-`。
-
-示例：
-![](images/tipc_cpp_infer_table.png)
-
-
-### 2.测试流程
-#### 2.1 功能测试
-内容1：给出C++预测具体测试命令。  
-示例：
-![](images/tipc_cpp_infer_shell.png)
-
-内容2：给出预测log的解读指引。  
-示例：
-![](images/tipc_cpp_infer_output.png)
-
-#### 2.2 精度测试
-内容：给出精度测试的具体命令和运行结果示例。  
-示例：
-![](images/tipc_infer_compare_results.png)
-
-### 3.更多教程
-内容：给出代码仓库中基础训练预测的具体教程链接。  
-示例：
-![](images/tipc_cpp_infer_more.png)

docs/tipc_test/测试文档/paddle2onnx_text.md

-## 背景
-
-Paddle2ONNX 预测功能测试的主程序为 `test_paddle2onnx.sh`，可以测试基于 Paddle2ONNX 的部署功能。本文介绍 Paddle2ONNX 预测功能测试文档的撰写规范。
-
-## 文档规范
-
-本文档和[基础训练预测文档](todo:add_basic_link)大体结构类似，主要去掉了训练相关的部分，文档目录结构如下：
-
-### 1.测试结论汇总
-
-内容：基于训练是否使用量化，可以将训练产出的模型可以分为`正常模型`和`量化模型`，表格形式给出这两类模型对应的预测功能汇总情况，包含`模型类型`、`device`这2个字段。
-
-- device：CPU 或 GPU，其他字段取值对应本字段指定的环境；
-
-示例：
-
-| 模型类型 |device |
-|  ----   |  ---- |  
-| 正常模型 | GPU |
-| 正常模型 | CPU |
-| 量化模型 | GPU |
-| 量化模型 | CPU |
-
-
-### 2.测试流程
-#### 2.1 功能测试
-内容：给出 Paddle2ONNX 预测具体测试命令。
-示例：
-
-先运行`prepare.sh`准备数据和模型，然后运行`test_paddle2onnx.sh`进行测试，最终在```test_tipc/output```目录下生成`paddle2onnx_infer_*.log`后缀的日志文件。
-
-```shell
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/model_linux_gpu_normal_normal_paddle2onnx_python_linux_cpu.txt "paddle2onnx_infer"
-
-# 用法:
-bash test_tipc/test_paddle2onnx.sh ./test_tipc/configs/ppocr_det_mobile/model_linux_gpu_normal_normal_paddle2onnx_python_linux_cpu.txt
-```  
-
-#### 运行结果
-
-各测试的运行情况会打印在 `test_tipc/output/results_paddle2onnx.log` 中：
-运行成功时会输出：
-
-```
-Run successfully with command -  paddle2onnx  --model_dir=./inference/ch_ppocr_mobile_v2.0_det_infer/ --model_filename=inference.pdmodel --params_filename=inference.pdiparams --save_file=./inference/det_mobile_onnx/model.onnx --opset_version=10  --enable_onnx_checker=True!
-Run successfully with command - python test_tipc/onnx_inference/predict_det.py --use_gpu=False --image_dir=./inference/ch_det_data_50/all-sum-510/ --det_model_dir=./inference/det_mobile_onnx/model.onnx  2>&1 !
-```
-
-运行失败时会输出：
-
-```
-Run failed with command - paddle2onnx  --model_dir=./inference/ch_ppocr_mobile_v2.0_det_infer/ --model_filename=inference.pdmodel --params_filename=inference.pdiparams --save_file=./inference/det_mobile_onnx/model.onnx --opset_version=10  --enable_onnx_checker=True!
-...
-```
-
-#### 2.2 精度测试
-
-由于 Paddle2ONNX 调用了 onnx 预测，因此不做精度对比。

docs/tipc_test/测试文档/python基础训练预测测试文档规范.md

-# 背景
-
-基础训练文档对应基础训练预测功能测试，主程序为`test_train_inference_python.sh`。本文介绍基础训练预测在Linux端，Mac端，Windows端，Jeston端的使用方法。
-
-# 文档规范
-
-本文档为TIPC的基础训练预测功能测试文档。包含linux端，Mac端，Windows端，jeston端的测试方法。
-
-### 1.基础训练预测规范
-基础训练预测工具测试的功能包括训练和Python预测两部分，汇总结论也分为`训练相关`和`预测相关`两部分。
-下面以[PaddleOCR样板间](https://github.com/PaddlePaddle/PaddleOCR/tree/dygraph/test_tipc)为例说明目录结构规范。
-```shell
-test_tipc/
-├── configs/  # 配置文件目录
-	├── ppocr_det_mobile/                #  ppocr检测模型mobile版本的配置文件和参数文件夹
-		├── det_mv3_db.yml               # 测试mobile版ppocr检测模型训练的yml文件
-		├── train_infer_python.txt.      # 测试mobile版ppocr检测模型训练+预测的参数配置文件
-		├── train_linux_cpu_normal_normal_infer_python_mac.txt     # Mac端测试mobile版ppocr检测模型的参数配置文件
-		├── train_linux_gpu_normal_normal_infer_python_windows.txt     # Windows端测试mobile版ppocr检测模型的参数配置文件
-		├── model_linux_gpu_normal_normal_infer_python_jetson.txt   # Jeston端测试mobile版ppocr检测模型的参数配置文件
-		├── ...                                
-├── results/   # 预先保存的预测结果，用于和实际预测结果进行精读比对
-	├── python_ppocr_det_mobile_results_fp32.txt           # 预存的mobile版ppocr检测模型python预测fp32精度的结果
-	├── python_ppocr_det_mobile_results_fp16.txt           # 预存的mobile版ppocr检测模型python预测fp16精度的结果
-	├── cpp_ppocr_det_mobile_results_fp32.txt       # 预存的mobile版ppocr检测模型c++预测的fp32精度的结果
-	├── cpp_ppocr_det_mobile_results_fp16.txt       # 预存的mobile版ppocr检测模型c++预测的fp16精度的结果
-	├── ...
-├── prepare.sh                        # 完成test_*.sh运行所需要的数据和模型下载
-├── test_train_inference_python.sh    # 测试python训练预测的主程序
-├── test_inference_cpp.sh             # 测试c++预测的主程序
-├── test_serving.sh                   # 测试serving部署预测的主程序
-├── test_lite.sh                      # 测试lite部署预测的主程序
-├── compare_results.py                # 用于对比log中的预测结果与results中的预存结果精度误差是否在限定范围内
-└── readme.md                         # 使用文档
-```
-主要关注：
-1. 所有工具位于`test_tipc`目录下，`test_tipc`目录位于套件根目录下；
-2. `configs`目录存放测试所需的所有配置文件；
-2. `results`目录存放精度测试所需的gt文件；
-3. `doc`目录存放readme.md以外的其他子文档；
-4. `prepare.sh`用于准备测试所需的模型、数据等；
-5. `test_*.sh`为测试主程序，按照功能分为多个文件，命名格式为`test_[功能]_[语言].sh`。
-
-
-（1）训练相关
-
-内容：给出套件所有模型的基础训练预测打通情况汇总信息，表格形式呈现，须包含`算法名称`、`模型名称`、`单机单卡`、`单机多卡`、`多机多卡`、`模型压缩（单机多卡）`这6个字段。
-	
-- 算法名称：该模型对应的算法，可以是算法简称；
-- 模型名称：与套件提供模型的名称对应；
-- 单机单卡：单机单卡训练的支持情况，包括`正常训练`和`混合精度`两种模式，支持哪种模式就填写哪种。
-- 单机多卡：同上。
-- 多机多卡：同上。
-- 模型压缩（单机多卡）：单机多卡模式下，支持的模型压缩算法，分别给出`正常训练`、`混合精度`、`离线量化`三种情况的模型压缩算法支持情况。
-
-示例：
-| 算法名称 | 模型名称 | 单机单卡 | 单机多卡 | 多机多卡 | 模型压缩（单机多卡） |
-|  :----  |   :----  |    :----  |  :----   |  :----   |  :----   |
-|  DB  | ch_ppocr_mobile_v2.0_det| 正常训练 <br> 混合精度 | 正常训练 <br> 混合精度 | 正常训练 <br> 混合精度 | 正常训练：FPGM裁剪、PACT量化 <br> 离线量化（无需训练） |
-|  DB  | ch_ppocr_server_v2.0_det| 正常训练 <br> 混合精度 | 正常训练 <br> 混合精度 | 正常训练 <br> 混合精度 | 正常训练：FPGM裁剪、PACT量化 <br> 离线量化（无需训练） |
-| CRNN | ch_ppocr_mobile_v2.0_rec| 正常训练 <br> 混合精度 | 正常训练 <br> 混合精度 | 正常训练 <br> 混合精度 | 正常训练：PACT量化 <br> 离线量化（无需训练） |
-| CRNN | ch_ppocr_server_v2.0_rec| 正常训练 <br> 混合精度 | 正常训练 <br> 混合精度 | 正常训练 <br> 混合精度 | 正常训练：PACT量化 <br> 离线量化（无需训练） |
-|PP-OCR| ch_ppocr_mobile_v2.0| 正常训练 <br> 混合精度 | 正常训练 <br> 混合精度 | 正常训练 <br> 混合精度 | - |
-|PP-OCR| ch_ppocr_server_v2.0| 正常训练 <br> 混合精度 | 正常训练 <br> 混合精度 | 正常训练 <br> 混合精度 | - |
-|PP-OCRv2| ch_PP-OCRv2 | 正常训练 <br> 混合精度 | 正常训练 <br> 混合精度 | 正常训练 <br> 混合精度 | - |
-
-
-（2）预测相关
-
-内容：基于训练是否使用量化，可以将训练产出的模型可以分为`正常模型`和`量化模型`，表格形式给出这两类模型对应的预测功能汇总情况，包含`模型类型`、`device`、`batchsize`、`tensorrt`、`mkldnn`、`cpu多线程`这6个字段。
-	
-- 算法名称：该模型对应的算法，可以是算法简称；
-- device：CPU或GPU，其他字段取值对应本字段指定的环境；
-- batchsize：一般包括1、6两种batchsize，根据实际支持情况填写。
-- tensorrt：开启tensorrt支持的精度，包括`fp32`、`fp16`、`int8`三种，当device为CPU时，本字段填`-`。
-- mkldnn：开启mkldnn支持的精度，包括`fp32`、`fp16`、`int8`三种，当device为GPU时，本字段填`-`。
-- cpu多线程：支持时填`支持`，不支持时留空即可，当device为GPU时，本字段填`-`。
-
-基于训练是否使用量化，可以将训练产出的模型可以分为`正常模型`和`量化模型`，这两类模型对应的预测功能汇总如下：
-
-| 模型类型 |device | batchsize | tensorrt | mkldnn | cpu多线程 |
-|  ----   |  ---- |   ----   |  :----:  |   :----:   |  :----:  |
-| 正常模型 | GPU | 1/6 | fp32/fp16 | - | - |
-| 正常模型 | CPU | 1/6 | - | fp32/fp16 | 支持 |
-| 量化模型 | GPU | 1/6 | int8 | - | - |
-| 量化模型 | CPU | 1/6 | - | int8 | 支持 |
-
-
-
-
-### 2.测试流程
-#### 2.1 安装依赖
-安装测试本功能所需的依赖，包括`autolog`工具和PaddleSlim。
-[autolog](https://github.com/LDOUBLEV/AutoLog)是一个辅助工具，用户规范化打印inference的输出结果。
-autolog安装方式如下，参考文档：https://github.com/LDOUBLEV/AutoLog
-```
-git clone https://github.com/LDOUBLEV/AutoLog
-pip3 install -r requirements.txt
-python3 setup.py bdist_wheel
-pip3 install ./dist/auto_log-1.0.0-py3-none-any.whl
-```
-
-PaddleSlim安装方式如下，参考文档https://github.com/PaddlePaddle/PaddleSlim：
-```
-pip3 install paddleslim
-```
-
-
-#### 2.2 Linux端功能测试
-内容：分别给出5种模式下的具体测试命令。
-参考文档：https://github.com/PaddlePaddle/PaddleOCR/blob/dygraph/test_tipc/docs/test_train_inference_python.md#22-%E5%8A%9F%E8%83%BD%E6%B5%8B%E8%AF%95
-示例：
-
-先运行`prepare.sh`准备数据和模型，然后运行`test_train_inference_python.sh`进行测试，最终在```test_tipc/output```目录下生成`python_infer_*.log`格式的日志文件。
-
-
-`test_train_inference_python.sh`包含5种运行模式，每种模式的运行数据不同，分别用于测试速度和精度，分别是：
-
-- 模式1：lite_train_lite_infer，使用少量数据训练，用于快速验证训练到预测的走通流程，不验证精度和速度；
-```shell
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/train_infer_python.txt 'lite_train_lite_infer'
-bash test_tipc/test_train_inference_python.sh ./test_tipc/configs/ppocr_det_mobile/train_infer_python.txt 'lite_train_lite_infer'
-```  
-
-- 模式2：lite_train_whole_infer，使用少量数据训练，一定量数据预测，用于验证训练后的模型执行预测，预测速度是否合理；
-```shell
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/train_infer_python.txt  'lite_train_whole_infer'
-bash test_tipc/test_train_inference_python.sh ../test_tipc/configs/ppocr_det_mobile/train_infer_python.txt 'lite_train_whole_infer'
-```  
-
-- 模式3：whole_infer，不训练，全量数据预测，走通开源模型评估、动转静，检查inference model预测时间和精度;
-```shell
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/train_infer_python.txt 'whole_infer'
-# 用法1:
-bash test_tipc/test_train_inference_python.sh ../test_tipc/configs/ppocr_det_mobile/train_infer_python.txt 'whole_infer'
-# 用法2: 指定GPU卡预测，第三个传入参数为GPU卡号
-bash test_tipc/test_train_inference_python.sh ./test_tipc/configs/ppocr_det_mobile/train_infer_python.txt 'whole_infer' '1'
-```  
-
-- 模式4：whole_train_whole_infer，CE： 全量数据训练，全量数据预测，验证模型训练精度，预测精度，预测速度；
-```shell
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/train_infer_python.txt 'whole_train_whole_infer'
-bash test_tipc/test_train_inference_python.sh ./test_tipc/configs/ppocr_det_mobile/train_infer_python.txt 'whole_train_whole_infer'
-```  
-
-- 模式5：klquant_whole_infer，测试离线量化；
-```shell
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/train_infer_python.txt  'klquant_whole_infer'
-bash test_tipc/test_train_inference_python.sh ./test_tipc/configs/ppocr_det_mobile/train_infer_python.txt  'klquant_whole_infer'
-```
-
-运行相应指令后，在`test_tipc/output`文件夹下自动会保存运行日志。如'lite_train_lite_infer'模式下，会运行训练+inference的链条，因此，在`test_tipc/output`文件夹有以下文件：
-```
-test_tipc/output/
-|- results_python.log    # 运行指令状态的日志
-|- norm_train_gpus_0_autocast_null/  # GPU 0号卡上正常训练的训练日志和模型保存文件夹
-|- pact_train_gpus_0_autocast_null/  # GPU 0号卡上量化训练的训练日志和模型保存文件夹
-......
-|- python_infer_cpu_usemkldnn_True_threads_1_batchsize_1.log  # CPU上开启Mkldnn线程数设置为1，测试batch_size=1条件下的预测运行日志
-|- python_infer_gpu_usetrt_True_precision_fp16_batchsize_1.log # GPU上开启TensorRT，测试batch_size=1的半精度预测日志
-......
-```
-
-
-#### 2.3. MAC端功能测试
-
-Mac端不包含GPU，并且CPU不支持mkldnn预测，因此在Mac端无需测试tipc中关于GPU和mkldnn相关的部分。
-
-为了方便Mac端功能测试，把需要测试的功能拆分为了新的参数文件`./test_tipc/configs/ppocr_det_mobile/train_mac_cpu_normal_normal_infer_python_mac_cpu.txt`
-
-除了修改配置文件之外，其余测试方法同2.1节的功能测试方法：
-
-先运行`prepare.sh`准备数据和模型，然后运行`test_train_inference_python.sh`进行测试，最终在```test_tipc/output```目录下生成`python_infer_*.log`格式的日志文件。
-
-`test_train_inference_python.sh`包含5种运行模式，每种模式的运行数据不同，分别用于测试速度和精度，分别是：
-
-- 模式1：lite_train_lite_infer，使用少量数据训练，用于快速验证训练到预测的走通流程，不验证精度和速度；
-```shell
-# 同linux端运行不同的是，Mac端测试使用新的配置文件mac_ppocr_det_mobile_params.txt，
-# 配置文件中默认去掉了GPU和mkldnn相关的测试链条
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/train_mac_cpu_normal_normal_infer_python_mac_cpu.txt 'lite_train_lite_infer'
-bash test_tipc/test_train_inference_python.sh ./test_tipc/configs/ppocr_det_mobile/train_mac_cpu_normal_normal_infer_python_mac_cpu.txt 'lite_train_lite_infer'
-```  
-
-- 模式2：lite_train_whole_infer，使用少量数据训练，一定量数据预测，用于验证训练后的模型执行预测，预测速度是否合理；
-```shell
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/train_mac_cpu_normal_normal_infer_python_mac_cpu.txt 'lite_train_whole_infer'
-bash test_tipc/test_train_inference_python.sh ./test_tipc/configs/ppocr_det_mobile/train_mac_cpu_normal_normal_infer_python_mac_cpu.txt  'lite_train_whole_infer'
-```  
-
-- 模式3：whole_infer，不训练，全量数据预测，走通开源模型评估、动转静，检查inference model预测时间和精度;
-```shell
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/train_mac_cpu_normal_normal_infer_python_mac_cpu.txt 'whole_infer'
-# 用法1:
-bash test_tipc/test_train_inference_python.sh ./test_tipc/configs/ppocr_det_mobile/train_mac_cpu_normal_normal_infer_python_mac_cpu.txt 'whole_infer'
-# 用法2: 指定GPU卡预测，第三个传入参数为GPU卡号
-bash test_tipc/test_train_inference_python.sh ./test_tipc/configs/ppocr_det_mobile/train_mac_cpu_normal_normal_infer_python_mac_cpu.txt 'whole_infer' '1'
-```  
-
-- 模式4：whole_train_whole_infer，CE： 全量数据训练，全量数据预测，验证模型训练精度，预测精度，预测速度；（Mac端不建议运行此模式）
-```shell
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/train_mac_cpu_normal_normal_infer_python_mac_cpu.txt 'whole_train_whole_infer'
-bash test_tipc/test_train_inference_python.sh ./test_tipc/configs/ppocr_det_mobile/train_mac_cpu_normal_normal_infer_python_mac_cpu.txt 'whole_train_whole_infer'
-```  
-
-- 模式5：klquant_whole_infer，测试离线量化；
-```shell
-bash test_tipc/prepare.sh ./test_tipc/ppocr_det_mobile/train_mac_cpu_normal_normal_infer_python_mac_cpu.txt 'klquant_whole_infer'
-bash test_tipc/test_train_inference_python.sh test_tipc/configs/ppocr_det_mobile/train_mac_cpu_normal_normal_infer_python_mac_cpu.txt  'klquant_whole_infer'
-```
-
-
-#### 2.4 Windows端功能测试
-
-windows端的功能测试同Linux端，为了方便区分Windows端功能测试，把需要测试的功能拆分为了新的参数文件`./test_tipc/configs/ppocr_det_mobile/train_windows_gpu_normal_normal_infer_python_windows_cpu_gpu.txt`
-
-除了修改配置文件之外，其余测试方法同2.1节的功能测试方法。
-
-先运行`prepare.sh`准备数据和模型，然后运行`test_train_inference_python.sh`进行测试，最终在```test_tipc/output```目录下生成`python_infer_*.log`格式的日志文件。
-
-`test_train_inference_python.sh`包含5种运行模式，每种模式的运行数据不同，分别用于测试速度和精度，分别是：
-
-- 模式1：lite_train_lite_infer，使用少量数据训练，用于快速验证训练到预测的走通流程，不验证精度和速度；
-```shell
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/train_windows_gpu_normal_normal_infer_python_windows_cpu_gpu.txt  'lite_train_lite_infer'
-bash test_tipc/test_train_inference_python.sh ./test_tipc/configs/ppocr_det_mobile/train_windows_gpu_normal_normal_infer_python_windows_cpu_gpu.txt  'lite_train_lite_infer'
-```  
-
-- 模式2：lite_train_whole_infer，使用少量数据训练，一定量数据预测，用于验证训练后的模型执行预测，预测速度是否合理；
-```shell
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/train_windows_gpu_normal_normal_infer_python_windows_cpu_gpu.txt  'lite_train_whole_infer'
-bash test_tipc/test_train_inference_python.sh ./test_tipc/configs/ppocr_det_mobile/train_windows_gpu_normal_normal_infer_python_windows_cpu_gpu.txt  'lite_train_whole_infer'
-```  
-
-- 模式3：whole_infer，不训练，全量数据预测，走通开源模型评估、动转静，检查inference model预测时间和精度;
-```shell
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/train_windows_gpu_normal_normal_infer_python_windows_cpu_gpu.txt  'whole_infer'
-# 用法1:
-bash test_tipc/test_train_inference_python.sh ./test_tipc/configs/ppocr_det_mobile/train_windows_gpu_normal_normal_infer_python_windows_cpu_gpu.txt  'whole_infer'
-# 用法2: 指定GPU卡预测，第三个传入参数为GPU卡号
-bash test_tipc/test_train_inference_python.sh ./test_tipc/configs/ppocr_det_mobile/train_windows_gpu_normal_normal_infer_python_windows_cpu_gpu.txt  'whole_infer' '1'
-```  
-
-- 模式4：whole_train_whole_infer，CE： 全量数据训练，全量数据预测，验证模型训练精度，预测精度，预测速度；
-```shell
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/train_windows_gpu_normal_normal_infer_python_windows_cpu_gpu.txt 'whole_train_whole_infer'
-bash test_tipc/test_train_inference_python.sh ./test_tipc/configs/ppocr_det_mobile/train_windows_gpu_normal_normal_infer_python_windows_cpu_gpu.txt 'whole_train_whole_infer'
-```  
-
-- 模式5：klquant_whole_infer，测试离线量化；
-```shell
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/train_windows_gpu_normal_normal_infer_python_windows_cpu_gpu.txt 'klquant_whole_infer'
-bash test_tipc/test_train_inference_python.sh test_tipc/configs/ppocr_det_mobile/train_windows_gpu_normal_normal_infer_python_windows_cpu_gpu.txt  'klquant_whole_infer'
-```
-
-#### 2.5 Jeston端功能测试
-
-Jeston产品是Nvidia推出的开发者套件，用于部署AI模型。Jeston系列的产品有Jeston Nano, TX，NX等等。本节以PaddleOCR检测模型和JestonNX为例，介绍如何在Jeston上接入TIPC预测推理的测试。
-
-Jeston的CPU性能远差于笔记本或者台式机，因此在Jeston上，只需要测试GPU上预测相关的链条即可，包括GPU预测，GPU+TensorRT(fp32)，GPU+TensorRT(fp16)预测。
-
-Jeston上无需测试TIPC训练部分，仅需要测试预测推理部分即可，因此，仅需要测试inferenc部分。
-jeston 的测试脚本为`test_inference_jeston.sh`，测试方法如下：
-
-- 模式3：whole_infer，不训练，全量数据预测，走通开源模型评估、动转静，检查inference model预测时间和精度;
-```shell
-bash test_tipc/prepare.sh ./test_tipc/configs/ppocr_det_mobile/model_linux_gpu_normal_normal_infer_python_jetson.txt 'whole_infer'
-# 用法1:
-bash test_tipc/test_inference_jeston.sh ./test_tipc/configs/ppocr_det_mobile/model_linux_gpu_normal_normal_infer_python_jetson.txt 'whole_infer'
-```
-
-
-#### 2.6 精度测试
-
-使用compare_results.py脚本比较模型预测的结果是否符合预期，主要步骤包括：
-- 提取日志中的预测坐标；
-- 从本地文件中提取保存好的坐标结果；
-- 比较上述两个结果是否符合精度预期，误差大于设置阈值时会报错。
-
-运行命令：
-```shell
-python3.7 test_tipc/compare_results.py --gt_file=./test_tipc/results/python_*.txt  --log_file=./test_tipc/output/python_*.log --atol=1e-3 --rtol=1e-3
-```
-
-参数介绍：  
-- gt_file： 指向事先保存好的预测结果路径，支持*.txt 结尾，会自动索引*.txt格式的文件，文件默认保存在test_tipc/result/ 文件夹下
-- log_file: 指向运行test_tipc/test_train_inference_python.sh 脚本的infer模式保存的预测日志，预测日志中打印的有预测结果，比如：文本框，预测文本，类别等等，同样支持python_infer_*.log格式传入
-- atol: 设置的绝对误差
-- rtol: 设置的相对误差
-
-运行结果：
-正常运行效果如下：
-```
-Assert allclose passed! The results of python_infer_cpu_usemkldnn_False_threads_1_batchsize_1.log and ./test_tipc/results/python_ppocr_det_mobile_results_fp32.txt are consistent!
-```
-
-出现不一致结果时的运行输出：
-```
-......
-Traceback (most recent call last):
-  File "test_tipc/compare_results.py", line 140, in <module>
-    format(filename, gt_filename))
-ValueError: The results of python_infer_cpu_usemkldnn_False_threads_1_batchsize_1.log and the results of ./test_tipc/results/python_ppocr_det_mobile_results_fp32.txt are inconsistent!
-```
-
-
-
-
-

docs/tipc_test/测试文档/serving_test.md

-
-**目录**
-- [背景](#--)
-- [文档规范](#----)
-  * [1.测试结论汇总](#1------)
-  * [2.测试流程](#2----)
-    + [2.1 功能测试](#21-----)
-    + [2.2 精度测试](#22-----)
-
-# 背景
-PaddleServing 预测功能测试的主程序为 `test_serving.sh`，可以测试基于 PaddleServing 的部署功能。本文介绍 PaddleServing 预测功能测试文档的撰写规范。
-
-# 文档规范
-
-本文档和基础训练预测文档大体结构类似，主要去掉了训练相关的部分。
-
-## 1.测试结论汇总
-
-内容：基于训练是否使用量化，可以将训练产出的模型可以分为`正常模型`和`量化模型`，表格形式给出这两类模型对应的预测功能汇总情况，包含`模型类型`、`device`、`batchsize`、`tensorrt`、`mkldnn`、`cpu多线程`这6个字段。
-	
-- 算法名称：该模型对应的算法，可以是算法简称；
-- device：CPU 或 GPU，其他字段取值对应本字段指定的环境；
-- batchsize：一般包括1、6两种 batchsize，根据实际支持情况填写。
-- tensorrt：开启 tensorrt 支持的精度，包括`fp32`、`fp16`、`int8`三种，当 device 为 CPU 时，本字段填`-`。
-- mkldnn：开启 mkldnn 支持的精度，包括`fp32`、`fp16`、`int8`三种，当 device 为 GPU 时，本字段填`-`。
-- cpu多线程：支持时填`支持`，不支持时留空即可，当 device 为 GPU 时，本字段填`-`。
-
-示例：
-
-| 模型类型 |device | batchsize | tensorrt | mkldnn | cpu多线程 |
-|  ----   |  ---- |   ----   |  :----:  |   :----:   |  :----:  |
-| 正常模型 | GPU | 1/6 | fp32/fp16 | - | - |
-| 正常模型 | CPU | 1/6 | - | fp32 | 支持 |
-| 量化模型 | GPU | 1/6 | int8 | - | - |
-| 量化模型 | CPU | 1/6 | - | int8 | 支持 |
-
-## 2.测试流程
-### 2.1 功能测试
-内容：给出 PaddleServing 预测具体测试命令。
-示例：
-![图片](images/tipc_serving_model.jpg)
-### 2.2 精度测试
-
-由于 PaddleServing 调用了 python inference 预测，因此不做精度对比。