Merge pull request #2091 from HydrogenSulfate/add_more_KL

add 5 KL model

deploy/slim/quant_post_static.py

@@ -41,6 +41,8 @@ def main():
                      'inference.pdmodel')) and os.path.exists(
                          os.path.join(config["Global"]["save_inference_dir"],
                                       'inference.pdiparams'))
+    if "Query" in config["DataLoader"]["Eval"]:
+        config["DataLoader"]["Eval"] = config["DataLoader"]["Eval"]["Query"]
     config["DataLoader"]["Eval"]["sampler"]["batch_size"] = 1
     config["DataLoader"]["Eval"]["loader"]["num_workers"] = 0
 

test_tipc/config/PP-ShiTu/PPShiTu_general_rec_KL_linux_gpu_normal_normal_infer_cpp_linux_gpu_cpu.txt

+===========================cpp_infer_params===========================
+model_name:GeneralRecognition_PPLCNet_x2_5_KL
+cpp_infer_type:cls
+cls_inference_model_dir:./general_PPLCNet_x2_5_lite_v1.0_kl_quant_infer/
+det_inference_model_dir:
+cls_inference_url:https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/slim_model/general_PPLCNet_x2_5_lite_v1.0_kl_quant_infer.tar
+det_inference_url:
+infer_quant:False
+inference_cmd:./deploy/cpp/build/clas_system -c inference_cls.yaml
+use_gpu:True|False
+enable_mkldnn:False
+cpu_threads:1
+batch_size:1
+use_tensorrt:False
+precision:fp32
+image_dir:./dataset/ILSVRC2012/val/ILSVRC2012_val_00000001.JPEG
+benchmark:False
+generate_yaml_cmd:python3.7 test_tipc/generate_cpp_yaml.py

test_tipc/config/PP-ShiTu/PPShiTu_general_rec_KL_linux_gpu_normal_normal_serving_cpp_linux_gpu_cpu.txt

+===========================serving_params===========================
+model_name:GeneralRecognition_PPLCNet_x2_5_KL
+python:python3.7
+inference_model_url:https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/slim_model/general_PPLCNet_x2_5_lite_v1.0_kl_quant_infer.tar
+trans_model:-m paddle_serving_client.convert
+--dirname:./deploy/paddleserving/general_PPLCNet_x2_5_lite_v1.0_kl_quant_infer/
+--model_filename:inference.pdmodel
+--params_filename:inference.pdiparams
+--serving_server:./deploy/paddleserving/GeneralRecognition_PPLCNet_x2_5_kl_quant_serving/
+--serving_client:./deploy/paddleserving/GeneralRecognition_PPLCNet_x2_5_kl_quant_client/
+serving_dir:./deploy/paddleserving
+web_service:null
+--use_gpu:0|null
+pipline:test_cpp_serving_client.py

test_tipc/config/PP-ShiTu/PPShiTu_general_rec_KL_linux_gpu_normal_normal_serving_python_linux_gpu_cpu.txt

+===========================serving_params===========================
+model_name:GeneralRecognition_PPLCNet_x2_5_KL
+python:python3.7
+inference_model_url:https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/slim_model/general_PPLCNet_x2_5_lite_v1.0_kl_quant_infer.tar
+trans_model:-m paddle_serving_client.convert
+--dirname:./deploy/paddleserving/general_PPLCNet_x2_5_lite_v1.0_kl_quant_infer/
+--model_filename:inference.pdmodel
+--params_filename:inference.pdiparams
+--serving_server:./deploy/paddleserving/GeneralRecognition_PPLCNet_x2_5_kl_quant_serving/
+--serving_client:./deploy/paddleserving/GeneralRecognition_PPLCNet_x2_5_kl_quant_client/
+serving_dir:./deploy/paddleserving
+web_service:classification_web_service.py
+--use_gpu:0|null
+pipline:pipeline_http_client.py

test_tipc/config/PPHGNet/PPHGNet_small_KL_linux_gpu_normal_normal_infer_cpp_linux_gpu_cpu.txt

+===========================cpp_infer_params===========================
+model_name:PPHGNet_small_KL
+cpp_infer_type:cls
+cls_inference_model_dir:./PPHGNet_small_kl_quant_infer/
+det_inference_model_dir:
+cls_inference_url:https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/slim_model/PPHGNet_small_kl_quant_infer.tar
+det_inference_url:
+infer_quant:False
+inference_cmd:./deploy/cpp/build/clas_system -c inference_cls.yaml
+use_gpu:True|False
+enable_mkldnn:False
+cpu_threads:1
+batch_size:1
+use_tensorrt:False
+precision:fp32
+image_dir:./dataset/ILSVRC2012/val/ILSVRC2012_val_00000001.JPEG
+benchmark:False
+generate_yaml_cmd:python3.7 test_tipc/generate_cpp_yaml.py

test_tipc/config/PPHGNet/PPHGNet_small_KL_linux_gpu_normal_normal_serving_cpp_linux_gpu_cpu.txt

+===========================serving_params===========================
+model_name:PPHGNet_small_KL
+python:python3.7
+inference_model_url:https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/slim_model/PPHGNet_small_kl_quant_infer.tar
+trans_model:-m paddle_serving_client.convert
+--dirname:./deploy/paddleserving/PPHGNet_small_kl_quant_infer/
+--model_filename:inference.pdmodel
+--params_filename:inference.pdiparams
+--serving_server:./deploy/paddleserving/PPHGNet_small_kl_quant_serving/
+--serving_client:./deploy/paddleserving/PPHGNet_small_kl_quant_client/
+serving_dir:./deploy/paddleserving
+web_service:null
+--use_gpu:0|null
+pipline:test_cpp_serving_client.py

test_tipc/config/PPHGNet/PPHGNet_small_KL_linux_gpu_normal_normal_serving_python_linux_gpu_cpu.txt

+===========================serving_params===========================
+model_name:PPHGNet_small_KL
+python:python3.7
+inference_model_url:https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/slim_model/PPHGNet_small_kl_quant_infer.tar
+trans_model:-m paddle_serving_client.convert
+--dirname:./deploy/paddleserving/PPHGNet_small_kl_quant_infer/
+--model_filename:inference.pdmodel
+--params_filename:inference.pdiparams
+--serving_server:./deploy/paddleserving/PPHGNet_small_kl_quant_serving/
+--serving_client:./deploy/paddleserving/PPHGNet_small_kl_quant_client/
+serving_dir:./deploy/paddleserving
+web_service:classification_web_service.py
+--use_gpu:0|null
+pipline:pipeline_http_client.py

test_tipc/config/PPLCNet/PPLCNet_x1_0_KL_linux_gpu_normal_normal_infer_cpp_linux_gpu_cpu.txt

+===========================cpp_infer_params===========================
+model_name:PPLCNet_x1_0_KL
+cpp_infer_type:cls
+cls_inference_model_dir:./PPLCNet_x1_0_kl_quant_infer/
+det_inference_model_dir:
+cls_inference_url:https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/slim_model/PPLCNet_x1_0_kl_quant_infer.tar
+det_inference_url:
+infer_quant:False
+inference_cmd:./deploy/cpp/build/clas_system -c inference_cls.yaml
+use_gpu:True|False
+enable_mkldnn:False
+cpu_threads:1
+batch_size:1
+use_tensorrt:False
+precision:fp32
+image_dir:./dataset/ILSVRC2012/val/ILSVRC2012_val_00000001.JPEG
+benchmark:False
+generate_yaml_cmd:python3.7 test_tipc/generate_cpp_yaml.py

test_tipc/config/PPLCNet/PPLCNet_x1_0_KL_linux_gpu_normal_normal_serving_cpp_linux_gpu_cpu.txt

+===========================serving_params===========================
+model_name:PPLCNet_x1_0_KL
+python:python3.7
+inference_model_url:https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/slim_model/PPLCNet_x1_0_kl_quant_infer.tar
+trans_model:-m paddle_serving_client.convert
+--dirname:./deploy/paddleserving/PPLCNet_x1_0_kl_quant_infer/
+--model_filename:inference.pdmodel
+--params_filename:inference.pdiparams
+--serving_server:./deploy/paddleserving/PPLCNet_x1_0_kl_quant_serving/
+--serving_client:./deploy/paddleserving/PPLCNet_x1_0_kl_quant_client/
+serving_dir:./deploy/paddleserving
+web_service:null
+--use_gpu:0|null
+pipline:test_cpp_serving_client.py

test_tipc/config/PPLCNet/PPLCNet_x1_0_KL_linux_gpu_normal_normal_serving_python_linux_gpu_cpu.txt

+===========================serving_params===========================
+model_name:PPLCNet_x1_0_KL
+python:python3.7
+inference_model_url:https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/slim_model/PPLCNet_x1_0_kl_quant_infer.tar
+trans_model:-m paddle_serving_client.convert
+--dirname:./deploy/paddleserving/PPLCNet_x1_0_kl_quant_infer/
+--model_filename:inference.pdmodel
+--params_filename:inference.pdiparams
+--serving_server:./deploy/paddleserving/PPLCNet_x1_0_kl_quant_serving/
+--serving_client:./deploy/paddleserving/PPLCNet_x1_0_kl_quant_client/
+serving_dir:./deploy/paddleserving
+web_service:classification_web_service.py
+--use_gpu:0|null
+pipline:pipeline_http_client.py

test_tipc/config/PPLCNetV2/PPLCNetV2_base_KL_linux_gpu_normal_normal_infer_cpp_linux_gpu_cpu.txt

+===========================cpp_infer_params===========================
+model_name:PPLCNetV2_base_KL
+cpp_infer_type:cls
+cls_inference_model_dir:./PPLCNetV2_base_kl_quant_infer/
+det_inference_model_dir:
+cls_inference_url:https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/slim_model/PPLCNetV2_base_kl_quant_infer.tar
+det_inference_url:
+infer_quant:False
+inference_cmd:./deploy/cpp/build/clas_system -c inference_cls.yaml
+use_gpu:True|False
+enable_mkldnn:False
+cpu_threads:1
+batch_size:1
+use_tensorrt:False
+precision:fp32
+image_dir:./dataset/ILSVRC2012/val/ILSVRC2012_val_00000001.JPEG
+benchmark:False
+generate_yaml_cmd:python3.7 test_tipc/generate_cpp_yaml.py

test_tipc/config/PPLCNetV2/PPLCNetV2_base_KL_linux_gpu_normal_normal_serving_cpp_linux_gpu_cpu.txt

+===========================serving_params===========================
+model_name:PPLCNetV2_base_KL
+python:python3.7
+inference_model_url:https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/slim_model/PPLCNetV2_base_kl_quant_infer.tar
+trans_model:-m paddle_serving_client.convert
+--dirname:./deploy/paddleserving/PPLCNetV2_base_kl_quant_infer/
+--model_filename:inference.pdmodel
+--params_filename:inference.pdiparams
+--serving_server:./deploy/paddleserving/PPLCNetV2_base_kl_quant_serving/
+--serving_client:./deploy/paddleserving/PPLCNetV2_base_kl_quant_client/
+serving_dir:./deploy/paddleserving
+web_service:null
+--use_gpu:0|null
+pipline:test_cpp_serving_client.py

test_tipc/config/PPLCNetV2/PPLCNetV2_base_KL_linux_gpu_normal_normal_serving_python_linux_gpu_cpu.txt

+===========================serving_params===========================
+model_name:PPLCNetV2_base_KL
+python:python3.7
+inference_model_url:https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/slim_model/PPLCNetV2_base_kl_quant_infer.tar
+trans_model:-m paddle_serving_client.convert
+--dirname:./deploy/paddleserving/PPLCNetV2_base_kl_quant_infer/
+--model_filename:inference.pdmodel
+--params_filename:inference.pdiparams
+--serving_server:./deploy/paddleserving/PPLCNetV2_base_kl_quant_serving/
+--serving_client:./deploy/paddleserving/PPLCNetV2_base_kl_quant_client/
+serving_dir:./deploy/paddleserving
+web_service:classification_web_service.py
+--use_gpu:0|null
+pipline:pipeline_http_client.py

test_tipc/config/SwinTransformer/SwinTransformer_tiny_patch4_window7_224_KL_linux_gpu_normal_normal_infer_cpp_linux_gpu_cpu.txt

+===========================cpp_infer_params===========================
+model_name:SwinTransformer_tiny_patch4_window7_224_KL
+cpp_infer_type:cls
+cls_inference_model_dir:./SwinTransformer_tiny_patch4_window7_224_kl_quant_infer/
+det_inference_model_dir:
+cls_inference_url:https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/slim_model/SwinTransformer_tiny_patch4_window7_224_kl_quant_infer.tar
+det_inference_url:
+infer_quant:False
+inference_cmd:./deploy/cpp/build/clas_system -c inference_cls.yaml
+use_gpu:True|False
+enable_mkldnn:False
+cpu_threads:1
+batch_size:1
+use_tensorrt:False
+precision:fp32
+image_dir:./dataset/ILSVRC2012/val/ILSVRC2012_val_00000001.JPEG
+benchmark:False
+generate_yaml_cmd:python3.7 test_tipc/generate_cpp_yaml.py

test_tipc/config/SwinTransformer/SwinTransformer_tiny_patch4_window7_224_KL_linux_gpu_normal_normal_serving_cpp_linux_gpu_cpu.txt

+===========================serving_params===========================
+model_name:SwinTransformer_tiny_patch4_window7_224_KL
+python:python3.7
+inference_model_url:https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/slim_model/SwinTransformer_tiny_patch4_window7_224_kl_quant_infer.tar
+trans_model:-m paddle_serving_client.convert
+--dirname:./deploy/paddleserving/SwinTransformer_tiny_patch4_window7_224_kl_quant_infer/
+--model_filename:inference.pdmodel
+--params_filename:inference.pdiparams
+--serving_server:./deploy/paddleserving/SwinTransformer_tiny_patch4_window7_224_kl_quant_serving/
+--serving_client:./deploy/paddleserving/SwinTransformer_tiny_patch4_window7_224_kl_quant_client/
+serving_dir:./deploy/paddleserving
+web_service:null
+--use_gpu:0|null
+pipline:test_cpp_serving_client.py

test_tipc/config/SwinTransformer/SwinTransformer_tiny_patch4_window7_224_KL_linux_gpu_normal_normal_serving_python_linux_gpu_cpu.txt

+===========================serving_params===========================
+model_name:SwinTransformer_tiny_patch4_window7_224_KL
+python:python3.7
+inference_model_url:https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/slim_model/SwinTransformer_tiny_patch4_window7_224_kl_quant_infer.tar
+trans_model:-m paddle_serving_client.convert
+--dirname:./deploy/paddleserving/SwinTransformer_tiny_patch4_window7_224_kl_quant_infer/
+--model_filename:inference.pdmodel
+--params_filename:inference.pdiparams
+--serving_server:./deploy/paddleserving/SwinTransformer_tiny_patch4_window7_224_kl_quant_serving/
+--serving_client:./deploy/paddleserving/SwinTransformer_tiny_patch4_window7_224_kl_quant_client/
+serving_dir:./deploy/paddleserving
+web_service:classification_web_service.py
+--use_gpu:0|null
+pipline:pipeline_http_client.py

test_tipc/docs/test_inference_cpp.md

@@ -6,27 +6,31 @@ Linux GPU/CPU C++ 推理功能测试的主程序为`test_inference_cpp.sh`，可
 
 - 推理相关：
 
-|    算法名称     |                 模型名称                  | device_CPU | device_GPU |
-| :-------------: | :---------------------------------------: | :--------: | :--------: |
-|   MobileNetV3   |          MobileNetV3_large_x1_0           |    支持    |    支持    |
-|   MobileNetV3   |         MobileNetV3_large_x1_0_KL         |    支持    |    支持    |
-|    PP-ShiTu     | PPShiTu_general_rec、PPShiTu_mainbody_det |    支持    |    支持    |
-|    PP-ShiTu     |           PPShiTu_mainbody_det            |    支持    |    支持    |
-|     PPHGNet     |               PPHGNet_small               |    支持    |    支持    |
-|     PPHGNet     |               PPHGNet_tiny                |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x0_25               |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x0_35               |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x0_5                |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x0_75               |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x1_0                |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x1_5                |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x2_0                |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x2_5                |    支持    |    支持    |
-|    PPLCNetV2    |              PPLCNetV2_base               |    支持    |    支持    |
-|     ResNet      |                 ResNet50                  |    支持    |    支持    |
-|     ResNet      |                ResNet50_vd                |    支持    |    支持    |
-|     ResNet      |              ResNet50_vd_KL               |    支持    |    支持    |
-| SwinTransformer |  SwinTransformer_tiny_patch4_window7_224  |    支持    |    支持    |
+|    算法名称     |                  模型名称                  | device_CPU | device_GPU |
+| :-------------: | :----------------------------------------: | :--------: | :--------: |
+|   MobileNetV3   |           MobileNetV3_large_x1_0           |    支持    |    支持    |
+|   MobileNetV3   |         MobileNetV3_large_x1_0_KL          |    支持    |    支持    |
+|    PP-ShiTu     | PPShiTu_general_rec、PPShiTu_mainbody_det  |    支持    |    支持    |
+|    PP-ShiTu     |     GeneralRecognition_PPLCNet_x2_5_KL     |    支持    |    支持    |
+|     PPHGNet     |               PPHGNet_small                |    支持    |    支持    |
+|     PPHGNet     |              PPHGNet_small_KL              |    支持    |    支持    |
+|     PPHGNet     |                PPHGNet_tiny                |    支持    |    支持    |
+|     PPLCNet     |               PPLCNet_x0_25                |    支持    |    支持    |
+|     PPLCNet     |               PPLCNet_x0_35                |    支持    |    支持    |
+|     PPLCNet     |                PPLCNet_x0_5                |    支持    |    支持    |
+|     PPLCNet     |               PPLCNet_x0_75                |    支持    |    支持    |
+|     PPLCNet     |                PPLCNet_x1_0                |    支持    |    支持    |
+|     PPLCNet     |              PPLCNet_x1_0_KL               |    支持    |    支持    |
+|     PPLCNet     |                PPLCNet_x1_5                |    支持    |    支持    |
+|     PPLCNet     |                PPLCNet_x2_0                |    支持    |    支持    |
+|     PPLCNet     |                PPLCNet_x2_5                |    支持    |    支持    |
+|    PPLCNetV2    |               PPLCNetV2_base               |    支持    |    支持    |
+|    PPLCNetV2    |             PPLCNetV2_base_KL              |    支持    |    支持    |
+|     ResNet      |                  ResNet50                  |    支持    |    支持    |
+|     ResNet      |                ResNet50_vd                 |    支持    |    支持    |
+|     ResNet      |               ResNet50_vd_KL               |    支持    |    支持    |
+| SwinTransformer |  SwinTransformer_tiny_patch4_window7_224   |    支持    |    支持    |
+| SwinTransformer | SwinTransformer_tiny_patch4_window7_224_KL |    支持    |    支持    |
 
 ## 2. 测试流程(以**ResNet50**为例)
 

test_tipc/docs/test_serving_infer_cpp.md

@@ -7,26 +7,31 @@ Linux GPU/CPU C++ 服务化部署测试的主程序为`test_serving_infer_cpp.sh
 
 - 推理相关：
 
-|    算法名称     |                 模型名称                  | device_CPU | device_GPU |
-| :-------------: | :---------------------------------------: | :--------: | :--------: |
-|   MobileNetV3   |          MobileNetV3_large_x1_0           |    支持    |    支持    |
-|   MobileNetV3   |         MobileNetV3_large_x1_0_KL         |    支持    |    支持    |
-|    PP-ShiTu     | PPShiTu_general_rec、PPShiTu_mainbody_det |    支持    |    支持    |
-|     PPHGNet     |               PPHGNet_small               |    支持    |    支持    |
-|     PPHGNet     |               PPHGNet_tiny                |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x0_25               |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x0_35               |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x0_5                |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x0_75               |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x1_0                |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x1_5                |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x2_0                |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x2_5                |    支持    |    支持    |
-|    PPLCNetV2    |              PPLCNetV2_base               |    支持    |    支持    |
-|     ResNet      |                 ResNet50                  |    支持    |    支持    |
-|     ResNet      |                ResNet50_vd                |    支持    |    支持    |
-|     ResNet      |              ResNet50_vd_KL               |    支持    |    支持    |
-| SwinTransformer |  SwinTransformer_tiny_patch4_window7_224  |    支持    |    支持    |
+|    算法名称     |                  模型名称                  | device_CPU | device_GPU |
+| :-------------: | :----------------------------------------: | :--------: | :--------: |
+|   MobileNetV3   |           MobileNetV3_large_x1_0           |    支持    |    支持    |
+|   MobileNetV3   |         MobileNetV3_large_x1_0_KL          |    支持    |    支持    |
+|    PP-ShiTu     | PPShiTu_general_rec、PPShiTu_mainbody_det  |    支持    |    支持    |
+|    PP-ShiTu     |     GeneralRecognition_PPLCNet_x2_5_KL     |    支持    |    支持    |
+|     PPHGNet     |               PPHGNet_small                |    支持    |    支持    |
+|     PPHGNet     |              PPHGNet_small_KL              |    支持    |    支持    |
+|     PPHGNet     |                PPHGNet_tiny                |    支持    |    支持    |
+|     PPLCNet     |               PPLCNet_x0_25                |    支持    |    支持    |
+|     PPLCNet     |               PPLCNet_x0_35                |    支持    |    支持    |
+|     PPLCNet     |                PPLCNet_x0_5                |    支持    |    支持    |
+|     PPLCNet     |               PPLCNet_x0_75                |    支持    |    支持    |
+|     PPLCNet     |                PPLCNet_x1_0                |    支持    |    支持    |
+|     PPLCNet     |              PPLCNet_x1_0_KL               |    支持    |    支持    |
+|     PPLCNet     |                PPLCNet_x1_5                |    支持    |    支持    |
+|     PPLCNet     |                PPLCNet_x2_0                |    支持    |    支持    |
+|     PPLCNet     |                PPLCNet_x2_5                |    支持    |    支持    |
+|    PPLCNetV2    |               PPLCNetV2_base               |    支持    |    支持    |
+|    PPLCNetV2    |             PPLCNetV2_base_KL              |    支持    |    支持    |
+|     ResNet      |                  ResNet50                  |    支持    |    支持    |
+|     ResNet      |                ResNet50_vd                 |    支持    |    支持    |
+|     ResNet      |               ResNet50_vd_KL               |    支持    |    支持    |
+| SwinTransformer |  SwinTransformer_tiny_patch4_window7_224   |    支持    |    支持    |
+| SwinTransformer | SwinTransformer_tiny_patch4_window7_224_KL |    支持    |    支持    |
 
 
 ## 2. 测试流程

test_tipc/docs/test_serving_infer_python.md

@@ -7,26 +7,31 @@ Linux GPU/CPU PYTHON 服务化部署测试的主程序为`test_serving_infer_pyt
 
 - 推理相关：
 
-|    算法名称     |                 模型名称                  | device_CPU | device_GPU |
-| :-------------: | :---------------------------------------: | :--------: | :--------: |
-|   MobileNetV3   |          MobileNetV3_large_x1_0           |    支持    |    支持    |
-|   MobileNetV3   |         MobileNetV3_large_x1_0_KL         |    支持    |    支持    |
-|    PP-ShiTu     | PPShiTu_general_rec、PPShiTu_mainbody_det |    支持    |    支持    |
-|     PPHGNet     |               PPHGNet_small               |    支持    |    支持    |
-|     PPHGNet     |               PPHGNet_tiny                |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x0_25               |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x0_35               |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x0_5                |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x0_75               |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x1_0                |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x1_5                |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x2_0                |    支持    |    支持    |
-|     PPLCNet     |               PPLCNet_x2_5                |    支持    |    支持    |
-|    PPLCNetV2    |              PPLCNetV2_base               |    支持    |    支持    |
-|     ResNet      |                 ResNet50                  |    支持    |    支持    |
-|     ResNet      |                ResNet50_vd                |    支持    |    支持    |
-|     ResNet      |              ResNet50_vd_KL               |    支持    |    支持    |
-| SwinTransformer |  SwinTransformer_tiny_patch4_window7_224  |    支持    |    支持    |
+|    算法名称     |                  模型名称                  | device_CPU | device_GPU |
+| :-------------: | :----------------------------------------: | :--------: | :--------: |
+|   MobileNetV3   |           MobileNetV3_large_x1_0           |    支持    |    支持    |
+|   MobileNetV3   |         MobileNetV3_large_x1_0_KL          |    支持    |    支持    |
+|    PP-ShiTu     | PPShiTu_general_rec、PPShiTu_mainbody_det  |    支持    |    支持    |
+|    PP-ShiTu     |     GeneralRecognition_PPLCNet_x2_5_KL     |    支持    |    支持    |
+|     PPHGNet     |               PPHGNet_small                |    支持    |    支持    |
+|     PPHGNet     |              PPHGNet_small_KL              |    支持    |    支持    |
+|     PPHGNet     |                PPHGNet_tiny                |    支持    |    支持    |
+|     PPLCNet     |               PPLCNet_x0_25                |    支持    |    支持    |
+|     PPLCNet     |               PPLCNet_x0_35                |    支持    |    支持    |
+|     PPLCNet     |                PPLCNet_x0_5                |    支持    |    支持    |
+|     PPLCNet     |               PPLCNet_x0_75                |    支持    |    支持    |
+|     PPLCNet     |                PPLCNet_x1_0                |    支持    |    支持    |
+|     PPLCNet     |              PPLCNet_x1_0_KL               |    支持    |    支持    |
+|     PPLCNet     |                PPLCNet_x1_5                |    支持    |    支持    |
+|     PPLCNet     |                PPLCNet_x2_0                |    支持    |    支持    |
+|     PPLCNet     |                PPLCNet_x2_5                |    支持    |    支持    |
+|    PPLCNetV2    |               PPLCNetV2_base               |    支持    |    支持    |
+|    PPLCNetV2    |             PPLCNetV2_base_KL              |    支持    |    支持    |
+|     ResNet      |                  ResNet50                  |    支持    |    支持    |
+|     ResNet      |                ResNet50_vd                 |    支持    |    支持    |
+|     ResNet      |               ResNet50_vd_KL               |    支持    |    支持    |
+| SwinTransformer |  SwinTransformer_tiny_patch4_window7_224   |    支持    |    支持    |
+| SwinTransformer | SwinTransformer_tiny_patch4_window7_224_KL |    支持    |    支持    |
 
 
 ## 2. 测试流程

test_tipc/prepare.sh

@@ -208,7 +208,7 @@ fi
 if [[ ${MODE} = "serving_infer" ]]; then
     # prepare serving env
     python_name=$(func_parser_value "${lines[2]}")
-    if [[ ${model_name} =~ "ShiTu" ]]; then
+    if [[ ${model_name} = "PPShiTu" ]]; then
         cls_inference_model_url=$(func_parser_value "${lines[3]}")
         cls_tar_name=$(func_get_url_file_name "${cls_inference_model_url}")
         det_inference_model_url=$(func_parser_value "${lines[4]}")

test_tipc/test_inference_cpp.sh

@@ -237,14 +237,14 @@ echo "################### build PaddleClas demo finished ###################"
 
 
 # set cuda device
-# GPUID=$2
-# if [ ${#GPUID} -le 0 ];then
-#     env="export CUDA_VISIBLE_DEVICES=0"
-# else
-#     env="export CUDA_VISIBLE_DEVICES=${GPUID}"
-# fi
-# set CUDA_VISIBLE_DEVICES
-# eval $env
+GPUID=$3
+if [ ${#GPUID} -le 0 ];then
+    env="export CUDA_VISIBLE_DEVICES=0"
+else
+    env="export CUDA_VISIBLE_DEVICES=${GPUID}"
+fi
+set CUDA_VISIBLE_DEVICES
+eval $env
 
 
 echo "################### run test ###################"

test_tipc/test_serving_infer_python.sh

@@ -310,7 +310,7 @@ echo "################### run test ###################"
 
 export Count=0
 IFS="|"
-if [[ ${model_name} =~ "ShiTu" ]]; then
+if [[ ${model_name} = "PPShiTu" ]]; then
     func_serving_rec
 else
     func_serving_cls