From d59d68f2ed4267691f306ed9efb79a6f7bc7204f Mon Sep 17 00:00:00 2001 From: HydrogenSulfate <490868991@qq.com> Date: Fri, 24 Jun 2022 15:49:15 +0000 Subject: [PATCH] debug --- test_tipc/docs/test_inference_cpp.md | 56 ++++++++++++--------- test_tipc/docs/test_serving_infer_cpp.md | 56 ++++++++++++--------- test_tipc/docs/test_serving_infer_python.md | 56 ++++++++++++--------- test_tipc/prepare.sh | 21 +++++++- test_tipc/test_serving_infer_python.sh | 5 +- 5 files changed, 116 insertions(+), 78 deletions(-) diff --git a/test_tipc/docs/test_inference_cpp.md b/test_tipc/docs/test_inference_cpp.md index 5432ea45..6343b72d 100644 --- a/test_tipc/docs/test_inference_cpp.md +++ b/test_tipc/docs/test_inference_cpp.md @@ -6,31 +6,37 @@ Linux GPU/CPU C++ 推理功能测试的主程序为`test_inference_cpp.sh`，可 - 推理相关： -| 算法名称 | 模型名称 | device_CPU | device_GPU | -| :-------------: | :----------------------------------------: | :--------: | :--------: | -| MobileNetV3 | MobileNetV3_large_x1_0 | 支持 | 支持 | -| MobileNetV3 | MobileNetV3_large_x1_0_KL | 支持 | 支持 | -| PP-ShiTu | PPShiTu_general_rec、PPShiTu_mainbody_det | 支持 | 支持 | -| PP-ShiTu | GeneralRecognition_PPLCNet_x2_5_KL | 支持 | 支持 | -| PPHGNet | PPHGNet_small | 支持 | 支持 | -| PPHGNet | PPHGNet_small_KL | 支持 | 支持 | -| PPHGNet | PPHGNet_tiny | 支持 | 支持 | -| PPLCNet | PPLCNet_x0_25 | 支持 | 支持 | -| PPLCNet | PPLCNet_x0_35 | 支持 | 支持 | -| PPLCNet | PPLCNet_x0_5 | 支持 | 支持 | -| PPLCNet | PPLCNet_x0_75 | 支持 | 支持 | -| PPLCNet | PPLCNet_x1_0 | 支持 | 支持 | -| PPLCNet | PPLCNet_x1_0_KL | 支持 | 支持 | -| PPLCNet | PPLCNet_x1_5 | 支持 | 支持 | -| PPLCNet | PPLCNet_x2_0 | 支持 | 支持 | -| PPLCNet | PPLCNet_x2_5 | 支持 | 支持 | -| PPLCNetV2 | PPLCNetV2_base | 支持 | 支持 | -| PPLCNetV2 | PPLCNetV2_base_KL | 支持 | 支持 | -| ResNet | ResNet50 | 支持 | 支持 | -| ResNet | ResNet50_vd | 支持 | 支持 | -| ResNet | ResNet50_vd_KL | 支持 | 支持 | -| SwinTransformer | SwinTransformer_tiny_patch4_window7_224 | 支持 | 支持 | -| SwinTransformer | SwinTransformer_tiny_patch4_window7_224_KL | 支持 | 支持 | +| 算法名称 | 模型名称 | device_CPU | device_GPU | +| :-------------: | :------------------------------------------: | :--------: | :--------: | +| MobileNetV3 | MobileNetV3_large_x1_0 | 支持 | 支持 | +| MobileNetV3 | MobileNetV3_large_x1_0_KL | 支持 | 支持 | +| MobileNetV3 | MobileNetV3_large_x1_0_PACT | 支持 | 支持 | +| PP-ShiTu | PPShiTu_general_rec、PPShiTu_mainbody_det | 支持 | 支持 | +| PP-ShiTu | GeneralRecognition_PPLCNet_x2_5_KL | 支持 | 支持 | +| PP-ShiTu | GeneralRecognition_PPLCNet_x2_5_PACT | 支持 | 支持 | +| PPHGNet | PPHGNet_small | 支持 | 支持 | +| PPHGNet | PPHGNet_small_KL | 支持 | 支持 | +| PPHGNet | PPHGNet_small_PACT | 支持 | 支持 | +| PPHGNet | PPHGNet_tiny | 支持 | 支持 | +| PPLCNet | PPLCNet_x0_25 | 支持 | 支持 | +| PPLCNet | PPLCNet_x0_35 | 支持 | 支持 | +| PPLCNet | PPLCNet_x0_5 | 支持 | 支持 | +| PPLCNet | PPLCNet_x0_75 | 支持 | 支持 | +| PPLCNet | PPLCNet_x1_0 | 支持 | 支持 | +| PPLCNet | PPLCNet_x1_0_KL | 支持 | 支持 | +| PPLCNet | PPLCNet_x1_0_PACT | 支持 | 支持 | +| PPLCNet | PPLCNet_x1_5 | 支持 | 支持 | +| PPLCNet | PPLCNet_x2_0 | 支持 | 支持 | +| PPLCNet | PPLCNet_x2_5 | 支持 | 支持 | +| PPLCNetV2 | PPLCNetV2_base | 支持 | 支持 | +| PPLCNetV2 | PPLCNetV2_base_KL | 支持 | 支持 | +| ResNet | ResNet50 | 支持 | 支持 | +| ResNet | ResNet50_vd | 支持 | 支持 | +| ResNet | ResNet50_vd_KL | 支持 | 支持 | +| ResNet | ResNet50_vd_PACT | 支持 | 支持 | +| SwinTransformer | SwinTransformer_tiny_patch4_window7_224 | 支持 | 支持 | +| SwinTransformer | SwinTransformer_tiny_patch4_window7_224_KL | 支持 | 支持 | +| SwinTransformer | SwinTransformer_tiny_patch4_window7_224_PACT | 支持 | 支持 | ## 2. 测试流程(以**ResNet50**为例) diff --git a/test_tipc/docs/test_serving_infer_cpp.md b/test_tipc/docs/test_serving_infer_cpp.md index 370f96a2..3ddd0c25 100644 --- a/test_tipc/docs/test_serving_infer_cpp.md +++ b/test_tipc/docs/test_serving_infer_cpp.md @@ -7,31 +7,37 @@ Linux GPU/CPU C++ 服务化部署测试的主程序为`test_serving_infer_cpp.sh - 推理相关： -| 算法名称 | 模型名称 | device_CPU | device_GPU | -| :-------------: | :----------------------------------------: | :--------: | :--------: | -| MobileNetV3 | MobileNetV3_large_x1_0 | 支持 | 支持 | -| MobileNetV3 | MobileNetV3_large_x1_0_KL | 支持 | 支持 | -| PP-ShiTu | PPShiTu_general_rec、PPShiTu_mainbody_det | 支持 | 支持 | -| PP-ShiTu | GeneralRecognition_PPLCNet_x2_5_KL | 支持 | 支持 | -| PPHGNet | PPHGNet_small | 支持 | 支持 | -| PPHGNet | PPHGNet_small_KL | 支持 | 支持 | -| PPHGNet | PPHGNet_tiny | 支持 | 支持 | -| PPLCNet | PPLCNet_x0_25 | 支持 | 支持 | -| PPLCNet | PPLCNet_x0_35 | 支持 | 支持 | -| PPLCNet | PPLCNet_x0_5 | 支持 | 支持 | -| PPLCNet | PPLCNet_x0_75 | 支持 | 支持 | -| PPLCNet | PPLCNet_x1_0 | 支持 | 支持 | -| PPLCNet | PPLCNet_x1_0_KL | 支持 | 支持 | -| PPLCNet | PPLCNet_x1_5 | 支持 | 支持 | -| PPLCNet | PPLCNet_x2_0 | 支持 | 支持 | -| PPLCNet | PPLCNet_x2_5 | 支持 | 支持 | -| PPLCNetV2 | PPLCNetV2_base | 支持 | 支持 | -| PPLCNetV2 | PPLCNetV2_base_KL | 支持 | 支持 | -| ResNet | ResNet50 | 支持 | 支持 | -| ResNet | ResNet50_vd | 支持 | 支持 | -| ResNet | ResNet50_vd_KL | 支持 | 支持 | -| SwinTransformer | SwinTransformer_tiny_patch4_window7_224 | 支持 | 支持 | -| SwinTransformer | SwinTransformer_tiny_patch4_window7_224_KL | 支持 | 支持 | +| 算法名称 | 模型名称 | device_CPU | device_GPU | +| :-------------: | :------------------------------------------: | :--------: | :--------: | +| MobileNetV3 | MobileNetV3_large_x1_0 | 支持 | 支持 | +| MobileNetV3 | MobileNetV3_large_x1_0_KL | 支持 | 支持 | +| MobileNetV3 | MobileNetV3_large_x1_0_PACT | 支持 | 支持 | +| PP-ShiTu | PPShiTu_general_rec、PPShiTu_mainbody_det | 支持 | 支持 | +| PP-ShiTu | GeneralRecognition_PPLCNet_x2_5_KL | 支持 | 支持 | +| PP-ShiTu | GeneralRecognition_PPLCNet_x2_5_PACT | 支持 | 支持 | +| PPHGNet | PPHGNet_small | 支持 | 支持 | +| PPHGNet | PPHGNet_small_KL | 支持 | 支持 | +| PPHGNet | PPHGNet_small_PACT | 支持 | 支持 | +| PPHGNet | PPHGNet_tiny | 支持 | 支持 | +| PPLCNet | PPLCNet_x0_25 | 支持 | 支持 | +| PPLCNet | PPLCNet_x0_35 | 支持 | 支持 | +| PPLCNet | PPLCNet_x0_5 | 支持 | 支持 | +| PPLCNet | PPLCNet_x0_75 | 支持 | 支持 | +| PPLCNet | PPLCNet_x1_0 | 支持 | 支持 | +| PPLCNet | PPLCNet_x1_0_KL | 支持 | 支持 | +| PPLCNet | PPLCNet_x1_0_PACT | 支持 | 支持 | +| PPLCNet | PPLCNet_x1_5 | 支持 | 支持 | +| PPLCNet | PPLCNet_x2_0 | 支持 | 支持 | +| PPLCNet | PPLCNet_x2_5 | 支持 | 支持 | +| PPLCNetV2 | PPLCNetV2_base | 支持 | 支持 | +| PPLCNetV2 | PPLCNetV2_base_KL | 支持 | 支持 | +| ResNet | ResNet50 | 支持 | 支持 | +| ResNet | ResNet50_vd | 支持 | 支持 | +| ResNet | ResNet50_vd_KL | 支持 | 支持 | +| ResNet | ResNet50_vd_PACT | 支持 | 支持 | +| SwinTransformer | SwinTransformer_tiny_patch4_window7_224 | 支持 | 支持 | +| SwinTransformer | SwinTransformer_tiny_patch4_window7_224_KL | 支持 | 支持 | +| SwinTransformer | SwinTransformer_tiny_patch4_window7_224_PACT | 支持 | 支持 | ## 2. 测试流程 diff --git a/test_tipc/docs/test_serving_infer_python.md b/test_tipc/docs/test_serving_infer_python.md index 3662563f..9bd9dc4c 100644 --- a/test_tipc/docs/test_serving_infer_python.md +++ b/test_tipc/docs/test_serving_infer_python.md @@ -7,31 +7,37 @@ Linux GPU/CPU PYTHON 服务化部署测试的主程序为`test_serving_infer_pyt - 推理相关： -| 算法名称 | 模型名称 | device_CPU | device_GPU | -| :-------------: | :----------------------------------------: | :--------: | :--------: | -| MobileNetV3 | MobileNetV3_large_x1_0 | 支持 | 支持 | -| MobileNetV3 | MobileNetV3_large_x1_0_KL | 支持 | 支持 | -| PP-ShiTu | PPShiTu_general_rec、PPShiTu_mainbody_det | 支持 | 支持 | -| PP-ShiTu | GeneralRecognition_PPLCNet_x2_5_KL | 支持 | 支持 | -| PPHGNet | PPHGNet_small | 支持 | 支持 | -| PPHGNet | PPHGNet_small_KL | 支持 | 支持 | -| PPHGNet | PPHGNet_tiny | 支持 | 支持 | -| PPLCNet | PPLCNet_x0_25 | 支持 | 支持 | -| PPLCNet | PPLCNet_x0_35 | 支持 | 支持 | -| PPLCNet | PPLCNet_x0_5 | 支持 | 支持 | -| PPLCNet | PPLCNet_x0_75 | 支持 | 支持 | -| PPLCNet | PPLCNet_x1_0 | 支持 | 支持 | -| PPLCNet | PPLCNet_x1_0_KL | 支持 | 支持 | -| PPLCNet | PPLCNet_x1_5 | 支持 | 支持 | -| PPLCNet | PPLCNet_x2_0 | 支持 | 支持 | -| PPLCNet | PPLCNet_x2_5 | 支持 | 支持 | -| PPLCNetV2 | PPLCNetV2_base | 支持 | 支持 | -| PPLCNetV2 | PPLCNetV2_base_KL | 支持 | 支持 | -| ResNet | ResNet50 | 支持 | 支持 | -| ResNet | ResNet50_vd | 支持 | 支持 | -| ResNet | ResNet50_vd_KL | 支持 | 支持 | -| SwinTransformer | SwinTransformer_tiny_patch4_window7_224 | 支持 | 支持 | -| SwinTransformer | SwinTransformer_tiny_patch4_window7_224_KL | 支持 | 支持 | +| 算法名称 | 模型名称 | device_CPU | device_GPU | +| :-------------: | :------------------------------------------: | :--------: | :--------: | +| MobileNetV3 | MobileNetV3_large_x1_0 | 支持 | 支持 | +| MobileNetV3 | MobileNetV3_large_x1_0_KL | 支持 | 支持 | +| MobileNetV3 | MobileNetV3_large_x1_0_PACT | 支持 | 支持 | +| PP-ShiTu | PPShiTu_general_rec、PPShiTu_mainbody_det | 支持 | 支持 | +| PP-ShiTu | GeneralRecognition_PPLCNet_x2_5_KL | 支持 | 支持 | +| PP-ShiTu | GeneralRecognition_PPLCNet_x2_5_PACT | 支持 | 支持 | +| PPHGNet | PPHGNet_small | 支持 | 支持 | +| PPHGNet | PPHGNet_small_KL | 支持 | 支持 | +| PPHGNet | PPHGNet_small_PACT | 支持 | 支持 | +| PPHGNet | PPHGNet_tiny | 支持 | 支持 | +| PPLCNet | PPLCNet_x0_25 | 支持 | 支持 | +| PPLCNet | PPLCNet_x0_35 | 支持 | 支持 | +| PPLCNet | PPLCNet_x0_5 | 支持 | 支持 | +| PPLCNet | PPLCNet_x0_75 | 支持 | 支持 | +| PPLCNet | PPLCNet_x1_0 | 支持 | 支持 | +| PPLCNet | PPLCNet_x1_0_KL | 支持 | 支持 | +| PPLCNet | PPLCNet_x1_0_PACT | 支持 | 支持 | +| PPLCNet | PPLCNet_x1_5 | 支持 | 支持 | +| PPLCNet | PPLCNet_x2_0 | 支持 | 支持 | +| PPLCNet | PPLCNet_x2_5 | 支持 | 支持 | +| PPLCNetV2 | PPLCNetV2_base | 支持 | 支持 | +| PPLCNetV2 | PPLCNetV2_base_KL | 支持 | 支持 | +| ResNet | ResNet50 | 支持 | 支持 | +| ResNet | ResNet50_vd | 支持 | 支持 | +| ResNet | ResNet50_vd_KL | 支持 | 支持 | +| ResNet | ResNet50_vd_PACT | 支持 | 支持 | +| SwinTransformer | SwinTransformer_tiny_patch4_window7_224 | 支持 | 支持 | +| SwinTransformer | SwinTransformer_tiny_patch4_window7_224_KL | 支持 | 支持 | +| SwinTransformer | SwinTransformer_tiny_patch4_window7_224_PACT | 支持 | 支持 | ## 2. 测试流程 diff --git a/test_tipc/prepare.sh b/test_tipc/prepare.sh index 73705aa5..c66a2184 100644 --- a/test_tipc/prepare.sh +++ b/test_tipc/prepare.sh @@ -106,6 +106,14 @@ if [[ ${MODE} = "cpp_infer" ]]; then model_dir=${tar_name%.*} eval "tar xf ${tar_name}" + # move '_int8' suffix in pact models + if [[ ${tar_name} =~ "pact_infer" ]]; then + cd ${cls_inference_model_dir} + mv inference_int8.pdiparams inference.pdiparams + mv inference_int8.pdmodel inference.pdmodel + cd .. + fi + cd dataset rm -rf ILSVRC2012 wget -nc https://paddle-imagenet-models-name.bj.bcebos.com/data/whole_chain/whole_chain_infer.tar @@ -229,7 +237,18 @@ if [[ ${MODE} = "serving_infer" ]]; then cls_inference_model_url=$(func_parser_value "${lines[3]}") cls_tar_name=$(func_get_url_file_name "${cls_inference_model_url}") cd ./deploy/paddleserving - wget -nc ${cls_inference_model_url} && tar xf ${cls_tar_name} + wget -nc ${cls_inference_model_url} + tar xf ${cls_tar_name} + + # move '_int8' suffix in pact models + if [[ ${cls_tar_name} =~ "pact_infer" ]]; then + cls_inference_model_dir=${cls_tar_name%%.tar} + cd ${cls_inference_model_dir} + mv inference_int8.pdiparams inference.pdiparams + mv inference_int8.pdmodel inference.pdmodel + cd .. + fi + cd ../../ fi unset http_proxy diff --git a/test_tipc/test_serving_infer_python.sh b/test_tipc/test_serving_infer_python.sh index 356d0321..050c3c89 100644 --- a/test_tipc/test_serving_infer_python.sh +++ b/test_tipc/test_serving_infer_python.sh @@ -2,6 +2,7 @@ source test_tipc/common_func.sh FILENAME=$1 +MODE=$2 dataline=$(awk 'NR==1, NR==19{print}' $FILENAME) # parser params @@ -38,7 +39,7 @@ pipeline_py=$(func_parser_value "${lines[13]}") function func_serving_cls(){ - LOG_PATH="test_tipc/output/${model_name}" + LOG_PATH="test_tipc/output/${model_name}/${MODE}" mkdir -p ${LOG_PATH} LOG_PATH="../../${LOG_PATH}" status_log="${LOG_PATH}/results_serving.log" @@ -153,7 +154,7 @@ function func_serving_cls(){ function func_serving_rec(){ - LOG_PATH="test_tipc/output/${model_name}" + LOG_PATH="test_tipc/output/${model_name}/${MODE}" mkdir -p ${LOG_PATH} LOG_PATH="../../../${LOG_PATH}" status_log="${LOG_PATH}/results_serving.log" -- GitLab