diff --git a/tests/common_func.sh b/PTDN/common_func.sh similarity index 100% rename from tests/common_func.sh rename to PTDN/common_func.sh diff --git a/tests/compare_results.py b/PTDN/compare_results.py similarity index 100% rename from tests/compare_results.py rename to PTDN/compare_results.py diff --git a/tests/configs/det_mv3_db.yml b/PTDN/configs/det_mv3_db.yml similarity index 100% rename from tests/configs/det_mv3_db.yml rename to PTDN/configs/det_mv3_db.yml diff --git a/tests/configs/det_r50_vd_db.yml b/PTDN/configs/det_r50_vd_db.yml similarity index 100% rename from tests/configs/det_r50_vd_db.yml rename to PTDN/configs/det_r50_vd_db.yml diff --git a/tests/configs/ppocr_det_mobile_params.txt b/PTDN/configs/ppocr_det_mobile_params.txt similarity index 100% rename from tests/configs/ppocr_det_mobile_params.txt rename to PTDN/configs/ppocr_det_mobile_params.txt diff --git a/tests/configs/ppocr_det_server_params.txt b/PTDN/configs/ppocr_det_server_params.txt similarity index 100% rename from tests/configs/ppocr_det_server_params.txt rename to PTDN/configs/ppocr_det_server_params.txt diff --git a/tests/configs/ppocr_rec_mobile_params.txt b/PTDN/configs/ppocr_rec_mobile_params.txt similarity index 100% rename from tests/configs/ppocr_rec_mobile_params.txt rename to PTDN/configs/ppocr_rec_mobile_params.txt diff --git a/tests/configs/ppocr_rec_server_params.txt b/PTDN/configs/ppocr_rec_server_params.txt similarity index 100% rename from tests/configs/ppocr_rec_server_params.txt rename to PTDN/configs/ppocr_rec_server_params.txt diff --git a/tests/configs/ppocr_sys_mobile_params.txt b/PTDN/configs/ppocr_sys_mobile_params.txt similarity index 100% rename from tests/configs/ppocr_sys_mobile_params.txt rename to PTDN/configs/ppocr_sys_mobile_params.txt diff --git a/tests/configs/ppocr_sys_server_params.txt b/PTDN/configs/ppocr_sys_server_params.txt similarity index 100% rename from tests/configs/ppocr_sys_server_params.txt rename to PTDN/configs/ppocr_sys_server_params.txt diff --git a/tests/configs/rec_icdar15_r34_train.yml b/PTDN/configs/rec_icdar15_r34_train.yml similarity index 100% rename from tests/configs/rec_icdar15_r34_train.yml rename to PTDN/configs/rec_icdar15_r34_train.yml diff --git a/PTDN/docs/compare_cpp_right.png b/PTDN/docs/compare_cpp_right.png new file mode 100644 index 0000000000000000000000000000000000000000..f9d0ba8ef8007ebc95ebffe2d593ff9e90066343 Binary files /dev/null and b/PTDN/docs/compare_cpp_right.png differ diff --git a/PTDN/docs/compare_cpp_wrong.png b/PTDN/docs/compare_cpp_wrong.png new file mode 100644 index 0000000000000000000000000000000000000000..621d446bbbe9ba10c3069ef5e59c463b714d42ad Binary files /dev/null and b/PTDN/docs/compare_cpp_wrong.png differ diff --git a/tests/docs/compare_right.png b/PTDN/docs/compare_right.png similarity index 100% rename from tests/docs/compare_right.png rename to PTDN/docs/compare_right.png diff --git a/tests/docs/compare_wrong.png b/PTDN/docs/compare_wrong.png similarity index 100% rename from tests/docs/compare_wrong.png rename to PTDN/docs/compare_wrong.png diff --git a/tests/docs/guide.png b/PTDN/docs/guide.png similarity index 100% rename from tests/docs/guide.png rename to PTDN/docs/guide.png diff --git a/PTDN/docs/test.png b/PTDN/docs/test.png new file mode 100644 index 0000000000000000000000000000000000000000..f99f23d7050eb61879cf317c0d7728ef14531b08 Binary files /dev/null and b/PTDN/docs/test.png differ diff --git a/PTDN/docs/test_inference_cpp.md b/PTDN/docs/test_inference_cpp.md new file mode 100644 index 0000000000000000000000000000000000000000..140860cb506513cbaa0fdc621848568d90e8ef5c --- /dev/null +++ b/PTDN/docs/test_inference_cpp.md @@ -0,0 +1,60 @@ +# C++预测功能测试 + +C++预测功能测试的主程序为`test_inference_cpp.sh`，可以测试基于C++预测库的模型推理功能。 + +## 1. 测试结论汇总 + +基于训练是否使用量化，进行本测试的模型可以分为`正常模型`和`量化模型`，这两类模型对应的C++预测功能汇总如下： + +| 模型类型 |device | batchsize | tensorrt | mkldnn | cpu多线程 | +| ---- | ---- | ---- | :----: | :----: | :----: | +| 正常模型 | GPU | 1/6 | fp32/fp16 | - | - | +| 正常模型 | CPU | 1/6 | - | fp32 | 支持 | +| 量化模型 | GPU | 1/6 | int8 | - | - | +| 量化模型 | CPU | 1/6 | - | int8 | 支持 | + +## 2. 测试流程 +### 2.1 功能测试 +先运行`prepare.sh`准备数据和模型，然后运行`test_inference_cpp.sh`进行测试，最终在```tests/output```目录下生成`cpp_infer_*.log`后缀的日志文件。 + +```shell +bash tests/prepare.sh ./tests/configs/ppocr_det_mobile_params.txt "cpp_infer" + +# 用法1: +bash tests/test_inference_cpp.sh ./tests/configs/ppocr_det_mobile_params.txt +# 用法2: 指定GPU卡预测，第三个传入参数为GPU卡号 +bash tests/test_inference_cpp.sh ./tests/configs/ppocr_det_mobile_params.txt '1' +``` + + +### 2.2 精度测试 + +使用compare_results.py脚本比较模型预测的结果是否符合预期，主要步骤包括： +- 提取日志中的预测坐标； +- 从本地文件中提取保存好的坐标结果； +- 比较上述两个结果是否符合精度预期，误差大于设置阈值时会报错。 + +#### 使用方式 +运行命令： +```shell +python3.7 tests/compare_results.py --gt_file=./tests/results/cpp_*.txt --log_file=./tests/output/cpp_*.log --atol=1e-3 --rtol=1e-3 +``` + +参数介绍： +- gt_file： 指向事先保存好的预测结果路径，支持*.txt 结尾，会自动索引*.txt格式的文件，文件默认保存在tests/result/ 文件夹下 +- log_file: 指向运行tests/test.sh 脚本的infer模式保存的预测日志，预测日志中打印的有预测结果，比如：文本框，预测文本，类别等等，同样支持infer_*.log格式传入 +- atol: 设置的绝对误差 +- rtol: 设置的相对误差 + +#### 运行结果 + +正常运行效果如下图： + + +出现不一致结果时的运行输出： + + + +## 3. 更多教程 + +本文档为功能测试用，更详细的c++预测使用教程请参考：[服务器端C++预测](https://github.com/PaddlePaddle/PaddleOCR/tree/dygraph/deploy/cpp_infer) diff --git a/tests/docs/test_python.md b/PTDN/docs/test_train_inference_python.md similarity index 53% rename from tests/docs/test_python.md rename to PTDN/docs/test_train_inference_python.md index 368b1b661ae9fc6d9dab58b435cd0ce432779461..8c468ffd34fcd7d949331c9097c7993ca7a1e391 100644 --- a/tests/docs/test_python.md +++ b/PTDN/docs/test_train_inference_python.md @@ -1,35 +1,34 @@ -# Python功能测试 +# 基础训练预测功能测试 -Python功能测试的主程序为`test_python.sh`，可以测试基于Python的模型训练、评估、推理等基本功能，包括裁剪、量化、蒸馏。 +基础训练预测功能测试的主程序为`test_train_inference_python.sh`，可以测试基于Python的模型训练、评估、推理等基本功能，包括裁剪、量化、蒸馏。 -## 测试结论汇总 +## 1. 测试结论汇总 - 训练相关： | 算法名称 | 模型名称 | 单机单卡 | 单机多卡 | 多机多卡 | 模型压缩（单机多卡） | | :---- | :---- | :---- | :---- | :---- | :---- | -| DB | ch_ppocr_mobile_v2.0_det| 正常训练
混合精度 | 正常训练
混合精度 | 正常训练
混合精度 | 正常训练: FPGM裁剪、PACT量化 | -| DB | ch_ppocr_server_v2.0_det| 正常训练
混合精度 | 正常训练
混合精度 | 正常训练
混合精度 | 正常训练: FPGM裁剪、PACT量化 | -| CRNN | ch_ppocr_mobile_v2.0_rec| 正常训练
混合精度 | 正常训练
混合精度 | 正常训练
混合精度 | 正常训练: PACT量化 | -| CRNN | ch_ppocr_server_v2.0_rec| 正常训练
混合精度 | 正常训练
混合精度 | 正常训练
混合精度 | 正常训练: PACT量化 | +| DB | ch_ppocr_mobile_v2.0_det| 正常训练
混合精度 | 正常训练
混合精度 | 正常训练
混合精度 | 正常训练：FPGM裁剪、PACT量化
离线量化（无需训练） | +| DB | ch_ppocr_server_v2.0_det| 正常训练
混合精度 | 正常训练
混合精度 | 正常训练
混合精度 | 正常训练：FPGM裁剪、PACT量化
离线量化（无需训练） | +| CRNN | ch_ppocr_mobile_v2.0_rec| 正常训练
混合精度 | 正常训练
混合精度 | 正常训练
混合精度 | 正常训练：PACT量化
离线量化（无需训练） | +| CRNN | ch_ppocr_server_v2.0_rec| 正常训练
混合精度 | 正常训练
混合精度 | 正常训练
混合精度 | 正常训练：PACT量化
离线量化（无需训练） | |PP-OCR| ch_ppocr_mobile_v2.0| 正常训练
混合精度 | 正常训练
混合精度 | 正常训练
混合精度 | - | |PP-OCR| ch_ppocr_server_v2.0| 正常训练
混合精度 | 正常训练
混合精度 | 正常训练
混合精度 | - | +|PP-OCRv2| ch_PP-OCRv2 | 正常训练
混合精度 | 正常训练
混合精度 | 正常训练
混合精度 | - | -- 预测相关： +- 预测相关：基于训练是否使用量化，可以将训练产出的模型可以分为`正常模型`和`量化模型`，这两类模型对应的预测功能汇总如下， -| 算法名称 | 模型名称 |device | batchsize | mkldnn | cpu多线程 | tensorrt | 离线量化 | -| ---- | ---- | ---- | ---- | ---- | ---- | ----| --- | -| DB |ch_ppocr_mobile_v2.0_det| CPU/GPU | 1/6 | 支持 | 支持 | fp32/fp16/int8 | 支持 | -| DB |ch_ppocr_server_v2.0_det| CPU/GPU | 1/6 | 支持 | 支持 | fp32/fp16/int8 | 支持 | -| CRNN |ch_ppocr_mobile_v2.0_rec| CPU/GPU | 1/6 | 支持 | 支持 | fp32/fp16/int8 | 支持 | -| CRNN |ch_ppocr_server_v2.0_rec| CPU/GPU | 1/6 | 支持 | 支持 | fp32/fp16/int8 | 支持 | -|PP-OCR|ch_ppocr_mobile_v2.0 | CPU/GPU | 1/6 | 支持 | 支持 | fp32/fp16/int8 | 支持 | -|PP-OCR|ch_ppocr_server_v2.0 | CPU/GPU | 1/6 | 支持 | 支持 | fp32/fp16/int8 | 支持 | +| 模型类型 |device | batchsize | tensorrt | mkldnn | cpu多线程 | +| ---- | ---- | ---- | :----: | :----: | :----: | +| 正常模型 | GPU | 1/6 | fp32/fp16 | - | - | +| 正常模型 | CPU | 1/6 | - | fp32 | 支持 | +| 量化模型 | GPU | 1/6 | int8 | - | - | +| 量化模型 | CPU | 1/6 | - | int8 | 支持 | - -## 1. 安装依赖 +## 2. 测试流程 +### 2.1 安装依赖 - 安装PaddlePaddle >= 2.0 - 安装PaddleOCR依赖 ``` @@ -46,52 +45,54 @@ Python功能测试的主程序为`test_python.sh`，可以测试基于Python的 ``` -## 2. 功能测试 -先运行`prepare.sh`准备数据和模型，然后运行`test_python.sh`进行测试，最终在```tests/output```目录下生成`python_infer_*.log`格式的日志文件。 +### 2.2 功能测试 +先运行`prepare.sh`准备数据和模型，然后运行`test_train_inference_python.sh`进行测试，最终在```tests/output```目录下生成`python_infer_*.log`格式的日志文件。 + -test_python.sh包含四种运行模式，每种模式的运行数据不同，分别用于测试速度和精度，分别是： +`test_train_inference_python.sh`包含5种运行模式，每种模式的运行数据不同，分别用于测试速度和精度，分别是： - 模式1：lite_train_infer，使用少量数据训练，用于快速验证训练到预测的走通流程，不验证精度和速度； ```shell bash tests/prepare.sh ./tests/configs/ppocr_det_mobile_params.txt 'lite_train_infer' -bash tests/test_python.sh ./tests/configs/ppocr_det_mobile_params.txt 'lite_train_infer' +bash tests/test_train_inference_python.sh ./tests/configs/ppocr_det_mobile_params.txt 'lite_train_infer' ``` - 模式2：whole_infer，使用少量数据训练，一定量数据预测，用于验证训练后的模型执行预测，预测速度是否合理； ```shell bash tests/prepare.sh ./tests/configs/ppocr_det_mobile_params.txt 'whole_infer' -bash tests/test_python.sh ./tests/configs/ppocr_det_mobile_params.txt 'whole_infer' +bash tests/test_train_inference_python.sh ./tests/configs/ppocr_det_mobile_params.txt 'whole_infer' ``` -- 模式3：infer 不训练，全量数据预测，走通开源模型评估、动转静，检查inference model预测时间和精度; +- 模式3：infer，不训练，全量数据预测，走通开源模型评估、动转静，检查inference model预测时间和精度; ```shell bash tests/prepare.sh ./tests/configs/ppocr_det_mobile_params.txt 'infer' # 用法1: -bash tests/test_python.sh ./tests/configs/ppocr_det_mobile_params.txt 'infer' +bash tests/test_train_inference_python.sh ./tests/configs/ppocr_det_mobile_params.txt 'infer' # 用法2: 指定GPU卡预测，第三个传入参数为GPU卡号 -bash tests/test_python.sh ./tests/configs/ppocr_det_mobile_params.txt 'infer' '1' +bash tests/test_train_inference_python.sh ./tests/configs/ppocr_det_mobile_params.txt 'infer' '1' ``` -- 模式4：whole_train_infer , CE： 全量数据训练，全量数据预测，验证模型训练精度，预测精度，预测速度； +- 模式4：whole_train_infer，CE： 全量数据训练，全量数据预测，验证模型训练精度，预测精度，预测速度； ```shell bash tests/prepare.sh ./tests/configs/ppocr_det_mobile_params.txt 'whole_train_infer' -bash tests/test.sh ./tests/configs/ppocr_det_mobile_params.txt 'whole_train_infer' +bash tests/test_train_inference_python.sh ./tests/configs/ppocr_det_mobile_params.txt 'whole_train_infer' ``` -- 模式5：klquant_infer , 测试离线量化； +- 模式5：klquant_infer，测试离线量化； ```shell -bash tests/test_python.sh tests/configs/ppocr_det_mobile_params.txt 'klquant_infer' +bash tests/prepare.sh ./tests/configs/ppocr_det_mobile_params.txt 'klquant_infer' +bash tests/test_train_inference_python.sh tests/configs/ppocr_det_mobile_params.txt 'klquant_infer' ``` -## 3. 精度测试 +### 2.3 精度测试 使用compare_results.py脚本比较模型预测的结果是否符合预期，主要步骤包括： - 提取日志中的预测坐标； - 从本地文件中提取保存好的坐标结果； - 比较上述两个结果是否符合精度预期，误差大于设置阈值时会报错。 -### 使用方式 +#### 使用方式 运行命令： ```shell python3.7 tests/compare_results.py --gt_file=./tests/results/python_*.txt --log_file=./tests/output/python_*.log --atol=1e-3 --rtol=1e-3 @@ -103,10 +104,16 @@ python3.7 tests/compare_results.py --gt_file=./tests/results/python_*.txt --log - atol: 设置的绝对误差 - rtol: 设置的相对误差 -### 运行结果 +#### 运行结果 正常运行效果如下图： 出现不一致结果时的运行输出： + + +## 3. 更多教程 +本文档为功能测试用，更丰富的训练预测使用教程请参考： +[模型训练](https://github.com/PaddlePaddle/PaddleOCR/blob/dygraph/doc/doc_ch/training.md) +[基于Python预测引擎推理](https://github.com/PaddlePaddle/PaddleOCR/blob/dygraph/doc/doc_ch/inference.md) diff --git a/tests/prepare.sh b/PTDN/prepare.sh similarity index 100% rename from tests/prepare.sh rename to PTDN/prepare.sh diff --git a/tests/readme.md b/PTDN/readme.md similarity index 55% rename from tests/readme.md rename to PTDN/readme.md index b7138a6801c3a589f5ca2ed0e8a6bafb08db3fec..28fda6a1fecbeb404e899241b8a10e0afba24264 100644 --- a/tests/readme.md +++ b/PTDN/readme.md @@ -1,22 +1,34 @@ # 推理部署导航 -飞桨除了基本的模型训练和预测，还提供了支持多端多平台的高性能推理部署工具。本文档提供了PaddleOCR中所有模型的推理部署导航，方便用户查阅每种模型的推理部署打通情况，并可以进行一键测试。 +## 1. 简介 + +飞桨除了基本的模型训练和预测，还提供了支持多端多平台的高性能推理部署工具。本文档提供了PaddleOCR中所有模型的推理部署导航PTDN（Paddle Train Deploy Navigation），方便用户查阅每种模型的推理部署打通情况，并可以进行一键测试。
+## 2. 汇总信息 + 打通情况汇总如下，已填写的部分表示可以使用本工具进行一键测试，未填写的表示正在支持中。 -| 算法论文 | 模型名称 | 模型类型 | python训练预测 | 其他 | -| :--- | :--- | :---- | :-------- | :---- | -| DB |ch_ppocr_mobile_v2.0_det | 检测 | 支持 | Paddle Inference: C++预测
Paddle Serving: Python, C++
Paddle-Lite: Python, C++ / ARM CPU | -| DB |ch_ppocr_server_v2.0_det | 检测 | 支持 | Paddle Inference: C++预测
Paddle Serving: Python, C++
Paddle-Lite: Python, C++ / ARM CPU | +**字段说明：** +- 基础训练预测：包括模型训练、Paddle Inference Python预测。 +- 其他：包括Paddle Inference C++预测、Paddle Serving部署、Paddle-Lite部署等。 + + +| 算法论文 | 模型名称 | 模型类型 | 基础训练预测 | 其他 | +| :--- | :--- | :----: | :--------: | :---- | +| DB |ch_ppocr_mobile_v2.0_det | 检测 | 支持 | Paddle Inference: C++
Paddle Serving: Python, C++
Paddle-Lite:
(1) ARM CPU(C++) | +| DB |ch_ppocr_server_v2.0_det | 检测 | 支持 | Paddle Inference: C++
Paddle Serving: Python, C++
Paddle-Lite:
(1) ARM CPU(C++) | | DB |ch_PP-OCRv2_det | 检测 | -| CRNN |ch_ppocr_mobile_v2.0_rec | 识别 | 支持 | Paddle Inference: C++预测
Paddle Serving: Python, C++
Paddle-Lite: Python, C++ / ARM CPU | -| CRNN |ch_ppocr_server_v2.0_rec | 识别 | 支持 | Paddle Inference: C++预测
Paddle Serving: Python, C++
Paddle-Lite: Python, C++ / ARM CPU | +| CRNN |ch_ppocr_mobile_v2.0_rec | 识别 | 支持 | Paddle Inference: C++
Paddle Serving: Python, C++
Paddle-Lite:
(1) ARM CPU(C++) | +| CRNN |ch_ppocr_server_v2.0_rec | 识别 | 支持 | Paddle Inference: C++
Paddle Serving: Python, C++
Paddle-Lite:
(1) ARM CPU(C++) | | CRNN |ch_PP-OCRv2_rec | 识别 | +| PP-OCR |ch_ppocr_mobile_v2.0 | 检测+识别 | 支持 | Paddle Inference: C++
Paddle Serving: Python, C++
Paddle-Lite:
(1) ARM CPU(C++) | +| PP-OCR |ch_ppocr_server_v2.0 | 检测+识别 | 支持 | Paddle Inference: C++
Paddle Serving: Python, C++
Paddle-Lite:
(1) ARM CPU(C++) | +|PP-OCRv2|ch_PP-OCRv2 | 检测+识别 | 支持 | Paddle Inference: C++
Paddle Serving: Python, C++
Paddle-Lite:
(1) ARM CPU(C++) | | DB |det_mv3_db_v2.0 | 检测 | | DB |det_r50_vd_db_v2.0 | 检测 | | EAST |det_mv3_east_v2.0 | 检测 | @@ -39,7 +51,7 @@ -## 一键测试工具使用 +## 3. 一键测试工具使用 ### 目录介绍 ```shell @@ -56,18 +68,18 @@ tests/ ├── ppocr_rec_server_params.txt # 测试server版ppocr识别模型的参数配置文件 ├── ... ├── results/ # 预先保存的预测结果，用于和实际预测结果进行精读比对 - ├── ppocr_det_mobile_results_fp32.txt # 预存的mobile版ppocr检测模型fp32精度的结果 - ├── ppocr_det_mobile_results_fp16.txt # 预存的mobile版ppocr检测模型fp16精度的结果 - ├── ppocr_det_mobile_results_fp32_cpp.txt # 预存的mobile版ppocr检测模型c++预测的fp32精度的结果 - ├── ppocr_det_mobile_results_fp16_cpp.txt # 预存的mobile版ppocr检测模型c++预测的fp16精度的结果 + ├── python_ppocr_det_mobile_results_fp32.txt # 预存的mobile版ppocr检测模型python预测fp32精度的结果 + ├── python_ppocr_det_mobile_results_fp16.txt # 预存的mobile版ppocr检测模型python预测fp16精度的结果 + ├── cpp_ppocr_det_mobile_results_fp32.txt # 预存的mobile版ppocr检测模型c++预测的fp32精度的结果 + ├── cpp_ppocr_det_mobile_results_fp16.txt # 预存的mobile版ppocr检测模型c++预测的fp16精度的结果 ├── ... -├── prepare.sh # 完成test_*.sh运行所需要的数据和模型下载 -├── test_python.sh # 测试python训练预测的主程序 -├── test_cpp.sh # 测试c++预测的主程序 -├── test_serving.sh # 测试serving部署预测的主程序 -├── test_lite.sh # 测试lite部署预测的主程序 -├── compare_results.py # 用于对比log中的预测结果与results中的预存结果精度误差是否在限定范围内 -└── readme.md # 使用文档 +├── prepare.sh # 完成test_*.sh运行所需要的数据和模型下载 +├── test_train_inference_python.sh # 测试python训练预测的主程序 +├── test_inference_cpp.sh # 测试c++预测的主程序 +├── test_serving.sh # 测试serving部署预测的主程序 +├── test_lite.sh # 测试lite部署预测的主程序 +├── compare_results.py # 用于对比log中的预测结果与results中的预存结果精度误差是否在限定范围内 +└── readme.md # 使用文档 ``` ### 测试流程 @@ -81,13 +93,13 @@ tests/ 3. 用`compare_results.py`对比log中的预测结果和预存在results目录下的结果，判断预测精度是否符合预期（在误差范围内）。 其中，有4个测试主程序，功能如下： -- `test_python.sh`：测试基于Python的模型训练、评估、推理等基本功能，包括裁剪、量化、蒸馏。 -- `test_cpp.sh`：测试基于C++的模型推理。 +- `test_train_inference_python.sh`：测试基于Python的模型训练、评估、推理等基本功能，包括裁剪、量化、蒸馏。 +- `test_inference_cpp.sh`：测试基于C++的模型推理。 - `test_serving.sh`：测试基于Paddle Serving的服务化部署功能。 - `test_lite.sh`：测试基于Paddle-Lite的端侧预测部署功能。 -各功能测试中涉及GPU/CPU、mkldnn、Tensorrt等多种参数配置，点击相应链接了解更多细节和使用教程： -[test_python使用](docs/test_python.md) -[test_cpp使用](docs/test_cpp.md) -[test_serving使用](docs/test_serving.md) -[test_lite使用](docs/test_lite.md) +各功能测试中涉及混合精度、裁剪、量化等训练相关，及mkldnn、Tensorrt等多种预测相关参数配置，请点击下方相应链接了解更多细节和使用教程： +[test_train_inference_python 使用](docs/test_train_inference_python.md) +[test_inference_cpp 使用](docs/test_inference_cpp.md) +[test_serving 使用](docs/test_serving.md) +[test_lite 使用](docs/test_lite.md) diff --git a/tests/results/cpp_ppocr_det_mobile_results_fp16.txt b/PTDN/results/cpp_ppocr_det_mobile_results_fp16.txt similarity index 100% rename from tests/results/cpp_ppocr_det_mobile_results_fp16.txt rename to PTDN/results/cpp_ppocr_det_mobile_results_fp16.txt diff --git a/tests/results/cpp_ppocr_det_mobile_results_fp32.txt b/PTDN/results/cpp_ppocr_det_mobile_results_fp32.txt similarity index 100% rename from tests/results/cpp_ppocr_det_mobile_results_fp32.txt rename to PTDN/results/cpp_ppocr_det_mobile_results_fp32.txt diff --git a/tests/results/python_ppocr_det_mobile_results_fp16.txt b/PTDN/results/python_ppocr_det_mobile_results_fp16.txt similarity index 100% rename from tests/results/python_ppocr_det_mobile_results_fp16.txt rename to PTDN/results/python_ppocr_det_mobile_results_fp16.txt diff --git a/tests/results/python_ppocr_det_mobile_results_fp32.txt b/PTDN/results/python_ppocr_det_mobile_results_fp32.txt similarity index 100% rename from tests/results/python_ppocr_det_mobile_results_fp32.txt rename to PTDN/results/python_ppocr_det_mobile_results_fp32.txt diff --git a/tests/test_cpp.sh b/PTDN/test_inference_cpp.sh similarity index 100% rename from tests/test_cpp.sh rename to PTDN/test_inference_cpp.sh diff --git a/tests/test_serving.sh b/PTDN/test_serving.sh similarity index 100% rename from tests/test_serving.sh rename to PTDN/test_serving.sh diff --git a/tests/test_python.sh b/PTDN/test_train_inference_python.sh similarity index 100% rename from tests/test_python.sh rename to PTDN/test_train_inference_python.sh diff --git a/tests/docs/test.png b/tests/docs/test.png deleted file mode 100644 index a27c16ec75fbfb437240b9e05510b6fe74a5766b..0000000000000000000000000000000000000000 Binary files a/tests/docs/test.png and /dev/null differ diff --git a/tests/docs/test_cpp.md b/tests/docs/test_cpp.md deleted file mode 100644 index d44ebf629a9e87a5e98e86e55d8bb6aee1489086..0000000000000000000000000000000000000000 --- a/tests/docs/test_cpp.md +++ /dev/null @@ -1,56 +0,0 @@ -# C++预测功能测试 - -C++预测功能测试的主程序为`test_cpp.sh`，可以测试基于C++预测库的模型推理功能。 - -## 测试结论汇总 - -| 算法名称 | 模型名称 |device | batchsize | mkldnn | cpu多线程 | tensorrt | 离线量化 | -| ---- | ---- | ---- | ---- | ---- | ---- | ----| --- | -| DB |ch_ppocr_mobile_v2.0_det| CPU/GPU | 1/6 | 支持 | 支持 | fp32/fp16/int8 | 支持 | -| DB |ch_ppocr_server_v2.0_det| CPU/GPU | 1/6 | 支持 | 支持 | fp32/fp16/int8 | 支持 | -| CRNN |ch_ppocr_mobile_v2.0_rec| CPU/GPU | 1/6 | 支持 | 支持 | fp32/fp16/int8 | 支持 | -| CRNN |ch_ppocr_server_v2.0_rec| CPU/GPU | 1/6 | 支持 | 支持 | fp32/fp16/int8 | 支持 | -|PP-OCR|ch_ppocr_server_v2.0 | CPU/GPU | 1/6 | 支持 | 支持 | fp32/fp16/int8 | 支持 | -|PP-OCR|ch_ppocr_server_v2.0 | CPU/GPU | 1/6 | 支持 | 支持 | fp32/fp16/int8 | 支持 | - - - -## 1. 功能测试 -先运行`prepare.sh`准备数据和模型，然后运行`test_cpp.sh`进行测试，最终在```tests/output```目录下生成`cpp_infer_*.log`后缀的日志文件。 - -```shell -bash tests/prepare.sh ./tests/configs/ppocr_det_mobile_params.txt - -# 用法1: -bash tests/test_cpp.sh ./tests/configs/ppocr_det_mobile_params.txt -# 用法2: 指定GPU卡预测，第三个传入参数为GPU卡号 -bash tests/test_cpp.sh ./tests/configs/ppocr_det_mobile_params.txt '1' -``` - - -## 2. 精度测试 - -使用compare_results.py脚本比较模型预测的结果是否符合预期，主要步骤包括： -- 提取日志中的预测坐标； -- 从本地文件中提取保存好的坐标结果； -- 比较上述两个结果是否符合精度预期，误差大于设置阈值时会报错。 - -### 使用方式 -运行命令： -```shell -python3.7 tests/compare_results.py --gt_file=./tests/results/cpp_*.txt --log_file=./tests/output/cpp_*.log --atol=1e-3 --rtol=1e-3 -``` - -参数介绍： -- gt_file： 指向事先保存好的预测结果路径，支持*.txt 结尾，会自动索引*.txt格式的文件，文件默认保存在tests/result/ 文件夹下 -- log_file: 指向运行tests/test.sh 脚本的infer模式保存的预测日志，预测日志中打印的有预测结果，比如：文本框，预测文本，类别等等，同样支持infer_*.log格式传入 -- atol: 设置的绝对误差 -- rtol: 设置的相对误差 - -### 运行结果 - -正常运行效果如下图： - - -出现不一致结果时的运行输出： -