Add serving and onnx for tipc (#5476)

* add tipc test for serving and onnx

* fix pics

* fix serving doc

* add fix serving doc

* fix serving doc

tutorials/mobilenetv3_prod/Step6/deploy/serving_python/pipeline_http_client.py

@@ -19,6 +19,11 @@ import cv2
 import base64
 import os
 
+import argparse
+parser = argparse.ArgumentParser(description="args for paddleserving")
+parser.add_argument("--image_dir", type=str, default="../../images/demo.jpg")
+args = parser.parse_args()
+
 
 def cv2_to_base64(image):
     """cv2_to_base64
@@ -36,11 +41,15 @@ def cv2_to_base64(image):
 if __name__ == "__main__":
     url = "http://127.0.0.1:18093/imagenet/prediction"
     logid = 10000
-    img_path = "../../images/demo.jpg"
-    with open(img_path, 'rb') as file:
-        image_data = file.read()
-    # data should be transformed to the base64 format
-    image = cv2_to_base64(image_data)
+    test_img_dir = args.image_dir
+
+    for idx, img_file in enumerate(os.listdir(test_img_dir)):
+        with open(os.path.join(test_img_dir, img_file), 'rb') as file:
+            image_data1 = file.read()
+
+        image = cv2_to_base64(image_data1)
+
+        for i in range(1):
             data = {"key": ["image"], "value": [image], "logid": logid}
             # send requests
             r = requests.post(url=url, data=json.dumps(data))

tutorials/mobilenetv3_prod/Step6/test_tipc/configs/mobilenet_v3_small/paddle2onnx_infer_python.txt

+===========================paddle2onnx_params===========================
+model_name:mobilenet_v3_small
+python:python3.7
+2onnx: paddle2onnx
+--model_dir:./inference/mobilenet_v3_small_infer/
+--model_filename:inference.pdmodel
+--params_filename:inference.pdiparams
+--save_file:./inference/mobilenet_v3_small_onnx/model.onnx
+--opset_version:10
+--enable_onnx_checker:True
+inference:deploy/onnx_python/infer.py
+--onnx_file:./inference/mobilenetv3_model_onnx/model.onnx
+--img_path:./lite_data/test/demo.jpg
\ No newline at end of file

tutorials/mobilenetv3_prod/Step6/test_tipc/configs/mobilenet_v3_small/serving_infer_python.txt

+===========================serving_params===========================
+model_name:mobilenet_v3_small
+python:python3.7
+trans_model:-m paddle_serving_client.convert
+--dirname:./inference/mobilenet_v3_small_infer/
+--model_filename:inference.pdmodel
+--params_filename:inference.pdiparams
+--serving_server:./deploy/serving_python/serving_server/
+--serving_client:./deploy/serving_python/serving_client/
+serving_dir:./deploy/serving_python
+web_service:web_service.py
+pipline:pipeline_http_client.py
+--image_dir:../../lite_data/test/
\ No newline at end of file

tutorials/mobilenetv3_prod/Step6/test_tipc/docs/test_paddle2onnx.md

+# Paddle2ONNX 测试
+
+Paddle2ONNX 测试的主程序为`test_paddle2onnx.sh`，可以测试基于Paddle2ONNX的模型转换和onnx预测功能。
+
+
+## 1. 测试结论汇总
+
+- 推理相关：
+
+| 算法名称 | 模型名称 | device_CPU | device_GPU | batchsize |
+|  :----:   |  :----: |   :----:   |  :----:  |   :----:   |
+|  MobileNetV3   |  mobilenet_v3_small |  支持 | 支持 | 1 |
+
+
+## 2. 测试流程
+
+### 2.1 准备数据
+
+用于基础训练推理测试的数据位于`test_images/lite_data.tar`，直接解压即可（如果已经解压完成，则无需运行下面的命令）。
+
+```
+tar -xf test_images/lite_data.tar
+```
+
+### 2.2 准备环境
+
+
+- 安装PaddlePaddle：如果您已经安装了2.2或者以上版本的paddlepaddle，那么无需运行下面的命令安装paddlepaddle。
+    ```
+    # 需要安装2.2及以上版本的Paddle
+    # 安装GPU版本的Paddle
+    pip install paddlepaddle-gpu==2.2.0
+    # 安装CPU版本的Paddle
+    pip install paddlepaddle==2.2.0
+    ```
+
+- 安装依赖
+    ```
+    pip3 install  -r requirements.txt
+    ```
+
+- 安装 Paddle2ONNX
+    ```
+    pip install paddle2onnx
+    ```
+
+- 安装 ONNXRuntime
+    ```
+    # 建议安装 1.9.0 版本，可根据环境更换版本号
+    pip install onnxruntime==1.9.0
+    ```
+
+
+### 2.3 功能测试
+
+测试方法如下所示，希望测试不同的模型文件，只需更换为自己的参数配置文件，即可完成对应模型的测试。
+
+```bash
+bash test_tipc/test_paddle2onnx.sh ${your_params_file} paddle2onnx_infer
+```
+
+以`mobilenet_v3_small`的`Paddle2ONNX 测试`为例，命令如下所示。
+
+ ```bash
+bash test_tipc/prepare.sh test_tipc/configs/mobilenet_v3_small/paddle2onnx_infer_python.txt paddle2onnx_infer
+```
+
+```bash
+bash test_tipc/test_paddle2onnx.sh test_tipc/configs/mobilenet_v3_small/paddle2onnx_infer_python.txt paddle2onnx_infer
+```
+
+输出结果如下，表示命令运行成功。
+
+```
+Run successfully with command -  paddle2onnx --model_dir=./inference/mobilenet_v3_small_infer/ --model_filename=inference.pdmodel --params_filename=inference.pdiparams --save_file=./inference/mobilenet_v3_small_onnx/model.onnx --opset_version=10 --enable_onnx_checker=True!
+
+Run successfully with command - python3.7 deploy/onnx_python/infer.py --img_path=./lite_data/test/demo.jpg --onnx_file=./inference/mobilenet_v3_small_onnx/model.onnx > ./log/mobilenet_v3_small//paddle2onnx_infer_cpu.log 2>&1 !  
+```
+
+预测结果会自动保存在 `./log/mobilenet_v3_small/paddle2onnx_infer_cpu.log` ，可以看到onnx运行结果：
+```
+ONNXRuntime predict:
+class_id: 8, prob: 0.9091271758079529
+```
+
+如果运行失败，也会在终端中输出运行失败的日志信息以及对应的运行命令。可以基于该命令，分析运行失败的原因。

tutorials/mobilenetv3_prod/Step6/test_tipc/docs/test_serving_infer_python.md

+# Linux GPU/CPU PYTHON 服务化部署测试
+
+Linux GPU/CPU  PYTHON 服务化部署测试的主程序为`test_serving_infer_python.sh`，可以测试基于Python的模型服务化部署功能。
+
+
+## 1. 测试结论汇总
+
+- 推理相关：
+
+| 算法名称 | 模型名称 | device_CPU | device_GPU | batchsize |
+|  :----:   |  :----: |   :----:   |  :----:  |   :----:   |
+|  MobileNetV3   |  mobilenet_v3_small |  支持 | 支持 | 1 |
+
+
+## 2. 测试流程
+
+### 2.1 准备数据
+
+用于基础训练推理测试的数据位于`test_images/lite_data.tar`，直接解压即可（如果已经解压完成，则无需运行下面的命令）。
+
+```bash
+tar -xf test_images/lite_data.tar
+```
+
+### 2.2 准备环境
+
+
+- 安装PaddlePaddle：如果您已经安装了2.2或者以上版本的paddlepaddle，那么无需运行下面的命令安装paddlepaddle。
+    ```
+    # 需要安装2.2及以上版本的Paddle
+    # 安装GPU版本的Paddle
+    pip install paddlepaddle-gpu==2.2.0
+    # 安装CPU版本的Paddle
+    pip install paddlepaddle==2.2.0
+    ```
+- 安装 PaddleServing 相关组件，包括serving-server、serving_client、serving-app
+
+    ```
+    # 安装0.7.0版本serving_server，用于启动服务
+    wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_server_gpu-0.7.0.post102-py3-none-any.whl
+    pip install paddle_serving_server_gpu-0.7.0.post102-py3-none-any.whl
+    # 如果是cuda10.1环境，可以使用下面的命令安装paddle-serving-server
+    # wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_server_gpu-0.7.0.post101-py3-none-any.whl
+    # pip install paddle_serving_server_gpu-0.7.0.post101-py3-none-any.whl
+
+    # 安装serving_client，用于向服务发送请求
+    wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_client-0.7.0-cp37-none-any.whl
+    pip install paddle_serving_client-0.7.0-cp37-none-any.whl
+
+    # 安装serving-app
+    wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_app-0.7.0-py3-none-any.whl
+    pip install paddle_serving_app-0.7.0-py3-none-any.whl
+    ```
+**Note:** 如果要安装最新版本的PaddleServing参考[链接](https://github.com/PaddlePaddle/Serving/blob/v0.7.0/doc/Latest_Packages_CN.md)
+
+- 安装依赖
+    ```
+    pip3 install  -r requirements.txt
+    ```
+
+ ### 2.3 功能测试
+
+ 测试方法如下所示，希望测试不同的模型文件，只需更换为自己的参数配置文件，即可完成对应模型的测试。
+
+```bash
+bash test_tipc/test_serving_infer_python.sh ${your_params_file} lite_train_lite_infer
+```
+
+以`mobilenet_v3_small`的`Linux GPU/CPU PYTHON 服务化部署测试`为例，命令如下所示。
+
+ ```bash
+bash test_tipc/prepare.sh test_tipc/configs/mobilenet_v3_small/serving_infer_python.txt serving_infer
+```
+
+```bash
+bash test_tipc/test_serving_infer_python.sh test_tipc/configs/mobilenet_v3_small/serving_infer_python.txt serving_infer
+```
+
+输出结果如下，表示命令运行成功。
+
+```
+Run successfully with command - python3.7 pipeline_http_client.py > ../../log/mobilenet_v3_small/serving_infer/server_infer_gpu_batchsize_1.log 2>&1 !
+```
+
+预测结果会自动保存在 `./log/mobilenet_v3_small/serving_infer/server_infer_gpu_batchsize_1.log` ，可以看到 PaddleServing 的运行结果：
+
+```
+{'err_no': 0, 'err_msg': '', 'key': ['class_id', 'prob'], 'value': ['[8]', '[0.9091243743896484]'], 'tensors': []}
+```
+
+
+如果运行失败，也会在终端中输出运行失败的日志信息以及对应的运行命令。可以基于该命令，分析运行失败的原因。

tutorials/mobilenetv3_prod/Step6/test_tipc/prepare.sh

@@ -45,4 +45,21 @@ elif [ ${MODE} = "whole_infer" ];then
     if [[ ${model_name} == "mobilenet_v3_small" ]];then
         wget -nc -P  ./pretrain_models/ https://paddle-model-ecology.bj.bcebos.com/model/mobilenetv3_reprod/mobilenet_v3_small_pretrained.pdparams  --no-check-certificate
     fi
+
+elif [ ${MODE} = "serving_infer" ];then
+    # get data
+    tar -xf ./test_images/lite_data.tar
+    # wget model
+    if [[ ${model_name} == "mobilenet_v3_small" ]];then
+        wget -nc -P  ./inference https://paddle-model-ecology.bj.bcebos.com/model/mobilenetv3_reprod/mobilenet_v3_small_infer.tar  --no-check-certificate
+        cd ./inference && tar xf mobilenet_v3_small_infer.tar && cd ../
+    fi
+elif [ ${MODE} = "paddle2onnx_infer" ];then
+    # get data
+    tar -xf ./test_images/lite_data.tar
+    # get model
+    if [[ ${model_name} == "mobilenet_v3_small" ]];then
+        wget -nc -P  ./inference https://paddle-model-ecology.bj.bcebos.com/model/mobilenetv3_reprod/mobilenet_v3_small_infer.tar  --no-check-certificate
+        cd ./inference && tar xf mobilenet_v3_small_infer.tar && cd ../
+    fi
 fi

tutorials/mobilenetv3_prod/Step6/test_tipc/test_paddle2onnx.sh

+#!/bin/bash
+source test_tipc/common_func.sh 
+
+FILENAME=$1
+
+dataline=$(cat ${FILENAME})
+lines=(${dataline})
+# common params
+model_name=$(func_parser_value "${lines[1]}")
+python=$(func_parser_value "${lines[2]}")
+
+
+# parser params
+dataline=$(awk 'NR==1, NR==13{print}'  $FILENAME)
+IFS=$'\n'
+lines=(${dataline})
+
+# parser paddle2onnx
+model_name=$(func_parser_value "${lines[1]}")
+python=$(func_parser_value "${lines[2]}")
+padlle2onnx_cmd=$(func_parser_value "${lines[3]}")
+infer_model_dir_key=$(func_parser_key "${lines[4]}")
+infer_model_dir_value=$(func_parser_value "${lines[4]}")
+model_filename_key=$(func_parser_key "${lines[5]}")
+model_filename_value=$(func_parser_value "${lines[5]}")
+params_filename_key=$(func_parser_key "${lines[6]}")
+params_filename_value=$(func_parser_value "${lines[6]}")
+save_file_key=$(func_parser_key "${lines[7]}")
+save_file_value=$(func_parser_value "${lines[7]}")
+opset_version_key=$(func_parser_key "${lines[8]}")
+opset_version_value=$(func_parser_value "${lines[8]}")
+enable_onnx_checker_key=$(func_parser_key "${lines[9]}")
+enable_onnx_checker_value=$(func_parser_value "${lines[9]}")
+# parser onnx inference 
+inference_py=$(func_parser_value "${lines[10]}")
+model_key=$(func_parser_key "${lines[11]}")
+image_dir_key=$(func_parser_key "${lines[12]}")
+image_dir_value=$(func_parser_value "${lines[12]}")
+
+
+LOG_PATH="./log/${model_name}/${MODE}"
+mkdir -p ${LOG_PATH}
+status_log="${LOG_PATH}/results_paddle2onnx.log"
+
+
+function func_paddle2onnx(){
+    IFS='|'
+    _script=$1
+
+    # paddle2onnx
+    _save_log_path="${LOG_PATH}/paddle2onnx_infer_cpu.log"
+    set_dirname=$(func_set_params "${infer_model_dir_key}" "${infer_model_dir_value}")
+    set_model_filename=$(func_set_params "${model_filename_key}" "${model_filename_value}")
+    set_params_filename=$(func_set_params "${params_filename_key}" "${params_filename_value}")
+    set_save_model=$(func_set_params "${save_file_key}" "${save_file_value}")
+    set_opset_version=$(func_set_params "${opset_version_key}" "${opset_version_value}")
+    set_enable_onnx_checker=$(func_set_params "${enable_onnx_checker_key}" "${enable_onnx_checker_value}")
+    trans_model_cmd="${padlle2onnx_cmd} ${set_dirname} ${set_model_filename} ${set_params_filename} ${set_save_model} ${set_opset_version} ${set_enable_onnx_checker}"
+    eval $trans_model_cmd
+    last_status=${PIPESTATUS[0]}
+    status_check $last_status "${trans_model_cmd}" "${status_log}"
+    # python inference
+    set_gpu=$(func_set_params "${use_gpu_key}" "${use_gpu_value}")
+    set_model_dir=$(func_set_params "${model_key}" "${save_file_value}")
+    set_img_dir=$(func_set_params "${image_dir_key}" "${image_dir_value}")
+    infer_model_cmd="${python} ${inference_py} ${set_img_dir} ${set_model_dir} > ${_save_log_path} 2>&1 "
+    eval $infer_model_cmd
+    status_check $last_status "${infer_model_cmd}" "${status_log}"
+}
+
+
+echo "################### run test ###################"
+
+export Count=0
+IFS="|"
+func_paddle2onnx 

tutorials/mobilenetv3_prod/Step6/test_tipc/test_serving_infer_python.sh

+#!/bin/bash
+source test_tipc/common_func.sh
+
+FILENAME=$1
+dataline=$(awk 'NR==1, NR==18{print}'  $FILENAME)
+MODE=$2
+
+# parser params
+IFS=$'\n'
+lines=(${dataline})
+
+# parser serving
+model_name=$(func_parser_value "${lines[1]}")
+python_list=$(func_parser_value "${lines[2]}")
+trans_model_py=$(func_parser_value "${lines[3]}")
+infer_model_dir_key=$(func_parser_key "${lines[4]}")
+infer_model_dir_value=$(func_parser_value "${lines[4]}")
+model_filename_key=$(func_parser_key "${lines[5]}")
+model_filename_value=$(func_parser_value "${lines[5]}")
+params_filename_key=$(func_parser_key "${lines[6]}")
+params_filename_value=$(func_parser_value "${lines[6]}")
+serving_server_key=$(func_parser_key "${lines[7]}")
+serving_server_value=$(func_parser_value "${lines[7]}")
+serving_client_key=$(func_parser_key "${lines[8]}")
+serving_client_value=$(func_parser_value "${lines[8]}")
+serving_dir_value=$(func_parser_value "${lines[9]}")
+web_service_py=$(func_parser_value "${lines[10]}")
+pipeline_py=$(func_parser_value "${lines[11]}")
+image_dir_key=$(func_parser_key "${lines[12]}")
+image_dir_value=$(func_parser_value "${lines[12]}")
+
+
+LOG_PATH="./log/${model_name}/${MODE}"
+mkdir -p ${LOG_PATH}
+status_log="${LOG_PATH}/results_serving.log"
+
+function func_serving(){
+    IFS='|'
+    _python=$1
+    _script=$2
+    _model_dir=$3
+    # pdserving
+    set_dirname=$(func_set_params "${infer_model_dir_key}" "${infer_model_dir_value}")
+    set_model_filename=$(func_set_params "${model_filename_key}" "${model_filename_value}")
+    set_params_filename=$(func_set_params "${params_filename_key}" "${params_filename_value}")
+    set_serving_server=$(func_set_params "${serving_server_key}" "${serving_server_value}")
+    set_serving_client=$(func_set_params "${serving_client_key}" "${serving_client_value}")
+    python_list=(${python_list})
+    python=${python_list[0]}
+    trans_model_cmd="${python} ${trans_model_py} ${set_dirname} ${set_model_filename} ${set_params_filename} ${set_serving_server} ${set_serving_client}"
+    eval $trans_model_cmd}
+    cd ${serving_dir_value}
+    echo $PWD
+    unset https_proxy
+    unset http_proxy
+
+    web_service_cmd="${python} ${web_service_py} &"
+    eval $web_service_cmd
+    sleep 2s
+    _save_log_path="../../log/${model_name}/${MODE}/server_infer_gpu_batchsize_1.log"
+    set_image_dir=$(func_set_params "${image_dir_key}" "${image_dir_value}")
+    pipeline_cmd="${python} ${pipeline_py} ${set_image_dir} > ${_save_log_path} 2>&1 "
+    eval $pipeline_cmd
+    last_status=${PIPESTATUS[0]}
+    eval "cat ${_save_log_path}"
+    cd ../../
+    status_check $last_status "${pipeline_cmd}" "${status_log}"
+    ps ux | grep -E 'web_service|pipeline' | awk '{print $2}' | xargs kill -s 9
+}
+
+
+# set cuda device
+GPUID=$3
+if [ ${#GPUID} -le 0 ];then
+    env=" "
+else
+    env="export CUDA_VISIBLE_DEVICES=${GPUID}"
+fi
+set CUDA_VISIBLE_DEVICES
+eval $env
+
+
+echo "################### run test ###################"
+
+export Count=0
+IFS="|"
+func_serving "${web_service_cmd}"

tutorials/tipc/paddle2onnx/README.md

@@ -38,7 +38,7 @@ Paddle2ONNX 开发过程可以分为下面6个步骤。
 </div>
 
 
-更多的介绍可以参考：[Paddle2ONNX 开发文档](./paddle2onnx.md)。
+更多的介绍可以参考：[Paddle2ONNX 功能开发文档](https://github.com/PaddlePaddle/models/blob/release/2.2/tutorials/tipc/paddle2onnx/paddle2onnx.md)。
 
 <a name="2.2"></a>
 
@@ -56,4 +56,37 @@ Paddle2ONNX 开发过程可以分为下面6个步骤。
 
 # 3. Paddle2ONNX 功能测试开发与规范
 
-coming soon!
+## 3.1 开发流程
+
+基础训练推理测试开发的流程如下所示。
+
+<div align="center">
+    <img src="../train_infer_python/images/test_linux_train_infer_python_pipeline.png" width="400">
+</div>
+
+更多的介绍可以参考：[Paddle2ONNX 测试开发规范](./test_paddle2onnx.md)。
+
+## 3.2 核验点
+
+### 3.2.1 目录结构
+
+在repo根目录下面新建`test_tipc`文件夹，目录结构如下所示。
+
+```
+test_tipc
+    |--configs                              # 配置目录
+    |    |--model_name                      # 您的模型名称
+    |           |--paddle2onnx_infer_python.txt   # paddle2onnx测试配置文件
+    |--docs                                 # 文档目录
+    |   |--test_paddle2onnx.md   # paddle2onnx测试说明文档
+    |----README.md                          # TIPC说明文档
+    |----test_paddle2onnx.sh     # TIPC paddle2onnx解析脚本，无需改动
+    |----common_func.sh                     # TIPC基础训练推理测试常用函数，无需改动
+```
+
+
+#### 3.2.2 配置文件和测试文档
+
+* `test_tipc/README.md` 文档中对该模型支持的的功能进行总体介绍。
+* `test_tipc/docs/test_paddle2onnx.md ` 文档中对**Paddle2ONNX**的功能支持情况进行介绍。
+* 根据测试文档，基于配置文件，跑通训练推理全流程测试。

tutorials/tipc/paddle2onnx/test_paddle2onnx.md

@@ -2,6 +2,289 @@
 
 # 目录
 
-- [1. 简介](#1---)
-- [2. Paddle2ONNX功能测试开发](#2---)
-- [3. FAQ](#3---)
+- [1. 简介](#1)
+- [2. 命令与配置文件解析](#2)
+    - [2.1 命令解析](#2.1)
+    - [2.2 配置文件和运行命令映射解析](#2.2)
+- [3. 基本训练推理功能测试开发](#3)
+    - [2.1 准备待测试的命令](#3.1)
+    - [2.2 准备数据与环境](#3.2)
+    - [2.3 准备开发所需脚本](#3.3)
+    - [2.4 填写配置文件](#3.4)
+    - [2.5 验证配置正确性](#3.5)
+    - [2.6 撰写说明文档](#3.6)
+- [4. FAQ](#4)
+
+<a name="1"></a>
+
+## 1. 简介
+
+本文档主要关注Linux GPU/CPU 下模型的Paddle2ONNX全流程功能测试，具体测试点如下：
+
+- 模型转换：Paddle2ONNX模型转换跑通
+- 模型推理：推理过程跑通
+
+为了一键跑通上述所有功能，本文档提供了`训推一体全流程`功能自动化测试工具，它包含3个脚本文件和1个配置文件，分别是：
+
+* `test_paddle2onnx.sh`: 测试Paddle2ONNX模型转换和模型推理过程的脚本，会对`paddle2onnx_infer_python.txt`进行解析，得到具体的执行命令。**该脚本无需修改**。
+* `prepare.sh`: 准备测试需要的数据或需要的预训练模型。
+* `common_func.sh`: 在配置文件一些通用的函数，如配置文件的解析函数等，**该脚本无需修改**。
+* `paddle2onnx_infer_python.txt`: 配置文件，其中的内容会被`test_paddle2onnx.sh`解析成具体的执行命令字段。
+
+<a name="2"></a>
+
+## 2. 命令与配置文件解析
+
+<a name="2.1"></a>
+
+### 2.1 命令解析
+
+Paddle2ONNX模型转换和模型预测的运行命令差别很大，但是都可以拆解为3个部分：
+
+```
+python  run_script   set_configs
+```
+
+例如：
+
+* 对于通过argparse传参的场景来说，`python3.7 deploy/onnx_python/infer.py --onnx_file=./inference/mobilenetv3_model_onnx/model.onnx`
+    * `python`部分为`python3.7`
+    * `run_script`部分为`deploy/onnx_python/infer.py`
+    * `set_configs`部分为`--onnx_file=./inference/mobilenetv3_model_onnx/model.onnx`
+
+其中，可修改参数`set_configs`一般通过`=`进行分隔，`=`前面的内容可以认为是key，后面的内容可以认为是value，那么通过给定配置文件模板，解析配置，得到其中的key和value，结合`python`和`run_script`，便可以组合出一条完整的命令。
+
+<a name="2.2"></a>
+
+### 2.2 配置文件和运行命令映射解析
+
+完整的`paddle2onnx_infer_python.txt`配置文件共有13行，包含2个方面的内容。
+
+* Paddle2ONNX模型转换：第4~10行
+* 模型Inference推理：第11~13行
+
+具体内容见[paddle2onnx_infer_python.txt](../../mobilenetv3_prod/Step6/test_tipc/configs/mobilenet_v3_small/paddle2onnx_infer_python.txt)
+
+配置文件中主要有以下3种类型的字段。
+
+* 一行内容以冒号为分隔符：该行可以被解析为`key:value`的格式，需要根据实际的含义修改该行内容，下面进行详细说明。
+* 一行内容为`======xxxxx=====`：该行内容为注释信息，无需修改。
+* 一行内容为`##`：该行内容表示段落分隔符，没有实际意义，无需修改。
+
+#### 2.2.1 模型转换配置参数
+
+在配置文件中，可以通过下面的方式配置一些常用的超参数，如：Paddle模型路径、ONNX模型路径等，下面给出了常用的训练配置以及需要修改的内容。
+
+<details>
+<summary><b>模型转换配置参数（点击以展开详细内容或者折叠）
+</b></summary>
+
+
+| 行号 | 参考内容                                | 含义            | key是否需要修改 | value是否需要修改 | 修改内容                             |
+|----|-------------------------------------|---------------|-----------|-------------|----------------------------------|
+| 2  | model_name:mobilenet_v3_small      | 模型名字          | 否         | 是           | value修改为自己的模型名字                  |
+| 3  | python:python3.7                    | python环境      | 否         | 是           | value修改为自己的python环境              |
+| 4  | 2onnx: paddle2onnx                     | paddle2onnx 命令       | 否         | 否           |  -  |
+| 5  | --model_dir:./inference/mobilenet_v3_small_infer/ | Paddle inference 模型保存路径 | 否        | 是           | value修改为自己 Inference 模型的路径                  |
+| 6  | --model_filename:inference.pdmodel | pdmodel 文件名     | 否     | 是           | value修改为 pdmodel 文件名           |
+| 7  | --params_filename:inference.pdiparams     | pdiparams 文件名 | 否        | 是       | value修改为 pdiparams 文件名       |
+| 8  | --save_file:./inference/mobilenet_v3_small_onnx/model.onnx | 转换出的 onnx 模型目录 | 否       | 是           | value修改为onnx模型保存路径      |
+
+</details>
+
+以模型转换命令 `paddle2onnx --model_dir=./inference/resnet50_infer/ --model_filename=inference.pdmodel --params_filename=inference.pdiparams --save_file=./inference/resnet50_onnx/model.onnx` 为例，总共包含4个超参数。
+
+* inference 模型路径： `--model_dir=./inference/resnet50_infer/` 则需要修改第5行， 修改后内容为`--model_dir:./inference/resnet50_infer/`。
+* pdmodel文件名： `--model_filename=inference.pdmodel ` 则需要修改第6行， 修改后内容为 `--model_filename:inference.pdmodel`。
+* 其他参数以此类推
+
+
+#### 2.2.2 模型Inference推理配置参数
+
+下面给出了配置文件中的模型Inference推理配置参数（点击以展开详细内容或者折叠）
+
+<details>
+<summary><b>模型Inference推理配置参数（点击以展开详细内容或者折叠）
+</b></summary>
+
+| 行号 | 参考内容                                | 含义            | key是否需要修改 | value是否需要修改 | 修改内容                             |
+|----|-------------------------------------|---------------|-----------|-------------|----------------------------------|
+| 11  | inference:deploy/onnx_python/infer.py | 启动 inference 预测命令     | 否     | 是           | value修改为预测脚本路径 |
+| 12 | --onnx_file:./inference/mobilenetv3_model_onnx/model.onnx | onnx 模型目录     | 否     | 是           | value修改为待预测的onnx模型(与转换出的onnx模型目录一致)    |
+| 13 | --img_path:./lite_data/test/demo.jpg | 预测图片路径    | 否     | 是           | value修改为预测图片路径           |
+
+
+</details>
+
+以推理命令 `python3.7 inference:deploy/onnx_python/infer.py --onnx_file=./inference/resnet50_model_onnx/model.onnx --img_path=./my_data/test_img.png` 为例，总共包含2个超参数。
+
+* onnx模型路径：`--onnx_file=./inference/resnet50_model_onnx/model.onnx `，则需要修改配置文件的第12行，`key`为`--onnx_file`， `value`为`./inference/resnet50_model_onnx/model.onnx`，修改后内容为`--onnx_file:./inference/resnet50_model_onnx/model.onnx`。
+* 预测图片路径：`--img_path=./my_data/test_img.png`， 则需要修改配置文件的第13行，`key`为`--img_path`， `value` 为 `./my_data/test_img.png`，修改后内容为`--img_path:./my_data/test_img.png`。
+
+
+## 3. Paddle2ONNX功能测试开发
+
+Paddle2ONNX功能测试开发过程主要分为以下6个步骤。
+
+<div align="center">
+    <img src="https://raw.githubusercontent.com/PaddlePaddle/models/release/2.2/tutorials/tipc/train_infer_python/images/test_linux_train_infer_python_pipeline.png" width="800">
+</div>
+
+
+其中设置了2个核验点，下面详细介绍开发过程。
+
+<a name="3.1"></a>
+
+### 3.1 准备待测试的命令
+
+**【基本内容】**
+
+准备模型转换、模型推理的命令，后续会将这些命令按照[第2节](#2)所述内容，映射到配置文件中。
+
+**【实战】**
+
+MobileNetV3的Paddle2ONNX模型转换、推理示例运行命令如下所示。
+
+```bash
+# Paddle2ONNX
+paddle2onnx --model_dir=./inference/mobilenet_v3_small_infer/ \
+--model_filename=inference.pdmodel \
+--params_filename=inference.pdiparams \
+--save_file=./inference/mobilenet_v3_small_onnx/model.onnx \
+--opset_version=10 \
+--enable_onnx_checker=True
+# 推理
+python3.7 deploy/onnx_python/infer.py --onnx_file=./inference/mobilenetv3_model_onnx/model.onnx --img_path=./lite_data/test/demo.jpg
+```
+
+<a name="3.2"></a>
+
+### 3.2 准备数据与环境
+
+**【基本内容】**
+
+1. 数据集：为方便快速验证训练/评估/推理过程，需要准备一个小数据集（训练集和验证集各8~16张图像即可，压缩后数据大小建议在`20M`以内），放在`lite_data`文件夹下。
+
+    相关文档可以参考[论文复现赛指南3.2章节](../../../docs/lwfx/ArticleReproduction_CV.md)，代码可以参考`基于ImageNet准备小数据集的脚本`：[prepare.py](https://github.com/littletomatodonkey/AlexNet-Prod/blob/tipc/pipeline/Step2/prepare.py)。
+
+2. 环境：安装好PaddlePaddle即可进行离线量化训练推理测试开发
+
+**【注意事项】**
+
+* 为方便管理，建议在上传至github前，首先将lite_data文件夹压缩为tar包，直接上传tar包即可，在测试训练评估与推理过程时，可以首先对数据进行解压。
+    * 压缩命令： `tar -zcf lite_data.tar lite_data`
+    * 解压命令： `tar -xf lite_data.tar`
+
+
+<a name="3.3"></a>
+
+### 3.3 准备开发所需脚本
+
+**【基本内容】**
+
+在repo中新建`test_tipc`目录，将文件 [common_func.sh](../../mobilenetv3_prod/Step6/test_tipc/common_func.sh) ， [prepare.sh](../../mobilenetv3_prod/Step6/test_tipc/prepare.sh) 和 [test_paddle2onnx.sh](../../mobilenetv3_prod/Step6/test_tipc/test_paddle2onnx.sh) 分别拷贝到`test_tipc`目录中。
+
+
+**【注意事项】**
+
+* 上述3个脚本文件无需改动，在实际使用时，直接修改配置文件即可。
+
+<a name="3.4"></a>
+
+### 3.4 填写配置文件
+
+**【基本内容】**
+
+在repo的`test_tipc/`目录中新建`configs/model_name`，将文件 [paddle2onnx_infer_python.txt](../../mobilenetv3_prod/Step6/test_tipc/configs/mobilenet_v3_small/paddle2onnx_infer_python.txt) 拷贝到该目录中，其中`model_name`需要修改为您自己的模型名称。
+
+**【实战】**
+
+配置文件的含义解析可以参考 [2.2节配置文件解析](#2.2) 部分。
+
+mobilenet_v3_small的测试开发配置文件可以参考：[paddle2onnx_infer_python.txt](../../mobilenetv3_prod/Step6/test_tipc/configs/mobilenet_v3_small/paddle2onnx_infer_python.txt)。
+
+<a name="3.5"></a>
+
+### 3.5 验证配置正确性
+
+**【基本内容】**
+
+基于修改完的配置，运行
+
+```bash
+bash test_tipc/prepare.sh ${your_params_file} paddle2onnx_infer
+bash test_tipc/test_paddle2onnx.sh ${your_params_file} paddle2onnx_infer
+```
+
+**【注意事项】**
+
+如果运行失败，会输出具体的报错命令，可以根据输出的报错命令排查下配置文件的问题并修改，示例报错如下所示。
+
+```
+Run failed with command - paddle2onnx --model_dir=./inference/mobilenet_v3_small_infer/ --model_filename=inference.pdmodel --params_filename=inference.pdiparams --save_file=./inference/mobilenet_v3_small_onnx/model.onnx --opset_version=10 --enable_onnx_checker=True!
+```
+
+**【实战】**
+
+以mobilenet_v3_small的`Linux GPU/CPU 离线量化训练推理功能测试` 为例，命令如下所示。
+
+```bash
+bash test_tipc/test_paddle2onnx.sh ./test_tipc/configs/mobilenet_v3_small/paddle2onnx_infer_python.txt paddle2onnx
+```
+
+输出结果如下，表示命令运行成功。
+
+```bash
+Run successfully with command -  paddle2onnx --model_dir=./inference/mobilenet_v3_small_infer/ --model_filename=inference.pdmodel --params_filename=inference.pdiparams --save_file=./inference/mobilenet_v3_small_onnx/model.onnx --opset_version=10 --enable_onnx_checker=True!
+
+Run successfully with command - python3.7 deploy/onnx_python/infer.py --img_path=./lite_data/test/demo.jpg --onnx_file=./inference/mobilenet_v3_small_onnx/model.onnx > ./log/mobilenet_v3_small//paddle2onnx_infer_cpu.log 2>&1 !  
+```
+
+**【核验】**
+
+基于修改后的配置文件，测试通过，全部命令成功
+
+<a name="3.6"></a>
+
+### 3.6 撰写说明文档
+
+**【基本内容】**
+
+撰写TIPC功能总览和测试流程说明文档，分别为
+
+1. TIPC功能总览文档：test_tipc/README.md
+2. Linux GPU/CPU 离线量化训练推理功能测试说明文档：test_tipc/docs/test_paddle2onnx.md
+
+2个文档模板分别位于下述位置，可以直接拷贝到自己的repo中，根据自己的模型进行修改。
+
+1. [README.md](../../mobilenetv3_prod/Step6/test_tipc/README.md)
+2. [test_paddle2onnx.md](../../mobilenetv3_prod/Step6/test_tipc/docs/test_paddle2onnx.md)
+
+**【实战】**
+
+mobilenet_v3_small中`test_tipc`文档如下所示。
+
+1. TIPC功能总览文档：[README.md](../../mobilenetv3_prod/Step6/test_tipc/README.md)
+2. Paddle2ONNX 测试说明文档：[test_paddle2onnx.md](../../mobilenetv3_prod/Step6/test_tipc/docs/test_paddle2onnx.md)
+
+**【核验】**
+
+repo中最终目录结构如下所示。
+
+```
+test_tipc
+    |--configs                              # 配置目录
+    |    |--model_name                      # 您的模型名称
+    |           |--paddle2onnx_infer_python.txt   # paddle2onnx测试配置文件
+    |--docs                                 # 文档目录
+    |   |--test_paddle2onnx.md   # paddle2onnx测试说明文档
+    |----README.md                          # TIPC说明文档
+    |----test_paddle2onnx.sh     # TIPC paddle2onnx解析脚本，无需改动
+    |----common_func.sh                     # TIPC基础训练推理测试常用函数，无需改动
+```
+
+基于`test_paddle2onnx.md`文档，跑通`Paddle2ONNX功能测试`流程。
+
+<a name="4"></a>
+
+## 4. FAQ

tutorials/tipc/serving_python/README.md

@@ -57,4 +57,39 @@ Linux GPU/CPU PYTHON 服务化部署功能开发过程以分为下面8个步骤
 
 ## 3. 服务化部署测试开发规范
 
-coming soon!
+## 3.1 开发流程
+
+基础训练推理测试开发的流程如下所示。
+
+
+<div align="center">
+    <img src="../train_infer_python/images/test_linux_train_infer_python_pipeline.png" width="400">
+</div>
+
+
+更多的介绍可以参考：[Linux GPU/CPU PYTHON 服务化部署测试开发文档](./test_serving_python.md)。
+
+## 3.2 核验点
+
+### 3.2.1 目录结构
+
+在repo根目录下面新建`test_tipc`文件夹，目录结构如下所示。
+
+
+```
+test_tipc
+    |--configs                              # 配置目录
+    |    |--model_name                      # 您的模型名称
+    |           |--serving_infer_python.txt   # python服务化部署测试配置文件
+    |--docs                                 # 文档目录
+    |   |--test_serving_infer_python.md   # python服务化部署测试说明文档
+    |----README.md                          # TIPC说明文档
+    |----test_serving_infer_python.sh     # TIPC python服务化部署解析脚本，无需改动
+    |----common_func.sh                     # TIPC基础训练推理测试常用函数，无需改动
+```
+
+#### 3.2.2 配置文件和测试文档
+
+* `test_tipc/README.md` 文档中对该模型支持的的功能进行总体介绍。
+* `test_tipc/docs/test_serving_infer_python.md ` 文档中对**PaddleServing**的功能支持情况进行介绍。
+* 根据测试文档，基于配置文件，跑通训练推理全流程测试。

tutorials/tipc/serving_python/test_serving_python.md

@@ -3,7 +3,286 @@
 # 目录
 
 - [1. 简介](#1)
-- [2. 基本服务化部署功能测试开发](#2---)
-- [3. 高级服务化部署功能测试开发](#3---)
+- [2. 命令与配置文件解析](#2)
+    - [2.1 命令解析](#2.1)
+    - [2.2 配置文件和运行命令映射解析](#2.2)
+- [3. 基本训练推理功能测试开发](#3)
+    - [2.1 准备待测试的命令](#3.1)
+    - [2.2 准备数据与环境](#3.2)
+    - [2.3 准备开发所需脚本](#3.3)
+    - [2.4 填写配置文件](#3.4)
+    - [2.5 验证配置正确性](#3.5)
+    - [2.6 撰写说明文档](#3.6)
 - [4. FAQ](#4)
 
+<a name="1"></a>
+
+## 1. 简介
+
+本文档主要关注Linux GPU/CPU 下模型的PYTHON 服务化部署功能测试，具体测试点如下：
+
+- 模型转换：部署模型转换跑通
+- 模型部署：python服务部署过程跑通
+
+为了一键跑通上述所有功能，本文档提供了`训推一体全流程`功能自动化测试工具，它包含3个脚本文件和1个配置文件，分别是：
+
+* `test_serving_infer_python.sh`: 测试部署模型转换和python服务部署预测的脚本，会对`serving_infer_python.txt`进行解析，得到具体的执行命令。**该脚本无需修改**。
+* `prepare.sh`: 准备测试需要的数据或需要的预训练模型。
+* `common_func.sh`: 在配置文件一些通用的函数，如配置文件的解析函数等，**该脚本无需修改**。
+* `serving_infer_python.txt`: 配置文件，其中的内容会被`test_serving_infer_python.sh`解析成具体的执行命令字段。
+
+<a name="2"></a>
+
+## 2. 命令与配置文件解析
+
+<a name="2.1"></a>
+
+### 2.1 命令解析
+
+部署模型转换和服务部署的运行命令差别很大，但是都可以拆解为3个部分：
+
+```
+python  run_script   set_configs
+```
+
+例如：
+
+* 对于通过argparse传参的场景来说，`python3.7 pipeline_http_client.py --image_dir=../../lite_data/test/`
+    * `python`部分为`python3.7`
+    * `run_script`部分为`pipeline_http_client.py`
+    * `set_configs`部分为`--image_dir=../../lite_data/test/`
+
+其中，可修改参数`set_configs`一般通过`=`进行分隔，`=`前面的内容可以认为是key，后面的内容可以认为是value，那么通过给定配置文件模板，解析配置，得到其中的key和value，结合`python`和`run_script`，便可以组合出一条完整的命令。
+
+<a name="2.2"></a>
+
+### 2.2 配置文件和运行命令映射解析
+
+完整的`serving_infer_python.txt`配置文件共有13行，包含2个方面的内容。
+
+* Serving 部署模型转换：第4~10行
+* Serving 启动部署服务：第10~13行
+
+具体内容见[serving_infer_python.txt](../../mobilenetv3_prod/Step6/test_tipc/configs/mobilenet_v3_small/serving_infer_python.txt)
+
+配置文件中主要有以下3种类型的字段。
+
+* 一行内容以冒号为分隔符：该行可以被解析为`key:value`的格式，需要根据实际的含义修改该行内容，下面进行详细说明。
+* 一行内容为`======xxxxx=====`：该行内容为注释信息，无需修改。
+* 一行内容为`##`：该行内容表示段落分隔符，没有实际意义，无需修改。
+
+#### 2.2.1 模型转换配置参数
+
+在配置文件中，可以通过下面的方式配置一些常用的超参数，如：Paddle模型路径、部署模型路径等，下面给出了常用的训练配置以及需要修改的内容。
+
+<details>
+<summary><b>模型转换配置参数（点击以展开详细内容或者折叠）
+</b></summary>
+
+
+| 行号 | 参考内容                                | 含义            | key是否需要修改 | value是否需要修改 | 修改内容                             |
+|----|-------------------------------------|---------------|-----------|-------------|----------------------------------|
+| 2  | model_name:mobilenet_v3_small      | 模型名字          | 否         | 是           | value修改为自己的模型名字                  |
+| 3  | python:python3.7                    | python环境      | 否         | 是           | value修改为自己的python环境              |
+| 5  | --dirname:./inference/mobilenet_v3_small_infer/ | Paddle inference 模型保存路径 | 否        | 是           | value修改为自己 Inference 模型的路径                  |
+| 6  | --model_filename:inference.pdmodel  | pdmodel 文件名     | 否     | 是           | value修改为 pdmodel 文件名           |
+| 7  | --params_filename:inference.pdiparams     | pdiparams 文件名 | 否        | 是       | value修改为 pdiparams 文件名       |
+| 8  | --serving_server:./deploy/serving_infer_python.serving_server/ | 转换出的部署模型目录 | 否       | 是           | value修改为部署模型模型保存路径      |
+| 9 | --serving_client:./deploy/serving_infer_python.serving_client/ | 转换出的服务模型目录 | 否       | 是           | value修改为服务模型保存路径      |
+</details>
+
+以模型转换命令 `python3.7 -m paddle_serving_client.convert --dirname=./inference/resnet50_infer/ --model_filename=inference.pdmodel --params_filename=inference.pdiparams --serving_server=./deploy/serving_infer_python.serving_server/ --serving_client=./deploy/serving_infer_python.serving_client/` 为例，总共包含5个超参数。
+
+* inference 模型路径： `--dirname=./inference/resnet50_infer/` 则需要修改第5行， 修改后内容为`--dirname:./inference/resnet50_infer/`。
+* pdmodel文件名： `--model_filename=inference.pdmodel ` 则需要修改第6行， 修改后内容为 `--model_filename:inference.pdmodel`。
+* 其他参数以此类推
+
+
+#### 2.2.2 python服务部署配置参数
+
+下面给出了配置文件中的python服务部署配置参数（点击以展开详细内容或者折叠）
+
+<details>
+<summary><b>服务部署配置参数（点击以展开详细内容或者折叠）
+</b></summary>
+
+| 行号 | 参考内容                                | 含义            | key是否需要修改 | value是否需要修改 | 修改内容                             |
+|----|-------------------------------------|---------------|-----------|-------------|----------------------------------|
+| 10  | serving_dir:./deploy/serving_infer_python.| python部署执行目录    | 否     | 是           | value修改为python部署工作目录 |
+| 11  | web_service:web_service.py | 启动部署服务命令     | 否     | 是           | value修改为自定义的服务部署脚本 |
+| 12 | pipline:pipeline_http_client.py | 启动访问客户端    | 否     | 是           | value修改为自定义的客户端启动脚本  |
+| 13 | --image_dir:../../lite_data/test/ | 预测图片路径    | 否     | 是           | value修改为预测图片路径           |
+
+
+</details>
+
+以启动客户端命令 `python3.7 pipeline_http_client.py --image_dir=./my_data/test_img.png` 为例，总共包含1个超参数。
+
+* 预测图片路径：`--image_dir=./my_data/test_img.png`， 则需要修改配置文件的第13行，`key`为`--image_dir`， `value` 为 `./my_data/test_img.png`，修改后内容为`--image_dir=:./my_data/test_img.png`。
+
+
+## 3. python 服务化部署功能测试开发
+
+服务化部署功能测试开发主要分为以下6个步骤。
+
+<div align="center">
+    <img src="https://raw.githubusercontent.com/PaddlePaddle/models/release/2.2/tutorials/tipc/train_infer_python/images/test_linux_train_infer_python_pipeline.png" width="800">
+</div>
+
+
+其中设置了2个核验点，下面详细介绍开发过程。
+
+<a name="3.1"></a>
+
+### 3.1 准备待测试的命令
+
+**【基本内容】**
+
+准备模型转换、模型推理的命令，后续会将这些命令按照[第2节](#2)所述内容，映射到配置文件中。
+
+**【实战】**
+
+MobileNetV3的Serving模型转换、服务部署运行命令如下所示。
+
+```bash
+# 模型转换
+python3.7 -m paddle_serving_client.convert
+--dirnam=./inference/mobilenet_v3_small_infer/ \
+--model_filename=inference.pdmodel \
+--params_filename=inference.pdiparams \
+--serving_server=./deploy/serving_infer_python.serving_server/ \
+--serving_client=./deploy/serving_infer_python.serving_client/
+# 部署
+python3.7 web_service.py
+python3.7 pipeline_http_client.py --image_dir=../../lite_data/test/
+```
+
+<a name="3.2"></a>
+
+### 3.2 准备数据与环境
+
+**【基本内容】**
+
+1. 数据集：为方便快速验证训练/评估/推理过程，需要准备一个小数据集（训练集和验证集各8~16张图像即可，压缩后数据大小建议在`20M`以内），放在`lite_data`文件夹下。
+
+    相关文档可以参考[论文复现赛指南3.2章节](../../../docs/lwfx/ArticleReproduction_CV.md)，代码可以参考`基于ImageNet准备小数据集的脚本`：[prepare.py](https://github.com/littletomatodonkey/AlexNet-Prod/blob/tipc/pipeline/Step2/prepare.py)。
+
+2. 环境：安装好PaddlePaddle即可进行离线量化训练推理测试开发
+
+**【注意事项】**
+
+* 为方便管理，建议在上传至github前，首先将lite_data文件夹压缩为tar包，直接上传tar包即可，在测试训练评估与推理过程时，可以首先对数据进行解压。
+    * 压缩命令： `tar -zcf lite_data.tar lite_data`
+    * 解压命令： `tar -xf lite_data.tar`
+
+
+<a name="3.3"></a>
+
+### 3.3 准备开发所需脚本
+
+**【基本内容】**
+
+在repo中新建`test_tipc`目录，将文件 [common_func.sh](../../mobilenetv3_prod/Step6/test_tipc/common_func.sh) ， [prepare.sh](../../mobilenetv3_prod/Step6/test_tipc/prepare.sh) 和 [test_serving_infer_python.sh](../../mobilenetv3_prod/Step6/test_tipc/test_serving_infer_python.sh) 分别拷贝到`test_tipc`目录中。
+
+
+**【注意事项】**
+
+* 上述3个脚本文件无需改动，在实际使用时，直接修改配置文件即可。
+
+<a name="3.4"></a>
+
+### 3.4 填写配置文件
+
+**【基本内容】**
+
+在repo的`test_tipc/`目录中新建`configs/model_name`，将文件 [serving_infer_python.txt](../../mobilenetv3_prod/Step6/test_tipc/configs/mobilenet_v3_small/serving_infer_python.txt) 拷贝到该目录中，其中`model_name`需要修改为您自己的模型名称。
+
+**【实战】**
+
+配置文件的含义解析可以参考 [2.2节配置文件解析](#2.2) 部分。
+
+mobilenet_v3_small的测试开发配置文件可以参考：[serving_infer_python.txt](../../mobilenetv3_prod/Step6/test_tipc/configs/mobilenet_v3_small/serving_infer_python.txt)。
+
+<a name="3.5"></a>
+
+### 3.5 验证配置正确性
+
+**【基本内容】**
+
+基于修改完的配置，运行
+
+```bash
+bash test_tipc/prepare.sh ${your_params_file} serving_infer
+bash test_tipc/test_serving_infer_python.sh ${your_params_file} serving_infer
+```
+
+**【注意事项】**
+
+如果运行失败，会输出具体的报错命令，可以根据输出的报错命令排查下配置文件的问题并修改，示例报错如下所示。
+
+```
+Run failed with command - python3.7 pipeline_http_client.py > ../../log/mobilenet_v3_small/serving_infer/server_infer_gpu_batchsize_1.log 2>&1 !
+```
+
+**【实战】**
+
+以mobilenet_v3_small的`Linux GPU/CPU 离线量化训练推理功能测试` 为例，命令如下所示。
+
+```bash
+bash test_tipc/test_serving_infer_python.sh test_tipc/configs/mobilenet_v3_small/serving_infer_python.txt serving_infer
+```
+
+输出结果如下，表示命令运行成功。
+
+```bash
+Run successfully with command - python3.7 pipeline_http_client.py > ../../log/mobilenet_v3_small/serving_infer/server_infer_gpu_batchsize_1.log 2>&1 !
+```
+
+**【核验】**
+
+基于修改后的配置文件，测试通过，全部命令成功
+
+<a name="3.6"></a>
+
+### 3.6 撰写说明文档
+
+**【基本内容】**
+
+撰写TIPC功能总览和测试流程说明文档，分别为
+
+1. TIPC功能总览文档：test_tipc/README.md
+2. Linux GPU/CPU 离线量化训练推理功能测试说明文档：test_tipc/docs/test_serving_infer_python.md
+
+2个文档模板分别位于下述位置，可以直接拷贝到自己的repo中，根据自己的模型进行修改。
+
+1. [README.md](../../mobilenetv3_prod/Step6/test_tipc/README.md)
+2. [test_serving_infer_python.md](../../mobilenetv3_prod/Step6/test_tipc/docs/test_serving_infer_python.md)
+
+**【实战】**
+
+mobilenet_v3_small中`test_tipc`文档如下所示。
+
+1. TIPC功能总览文档：[README.md](../../mobilenetv3_prod/Step6/test_tipc/README.md)
+2. Python Serving 测试说明文档：[test_serving_infer_python.md](../../mobilenetv3_prod/Step6/test_tipc/docs/test_serving_infer_python.md)
+
+**【核验】**
+
+repo中最终目录结构如下所示。
+
+```
+test_tipc
+    |--configs                              # 配置目录
+    |    |--model_name                      # 您的模型名称
+    |           |--serving_infer_python.txt   # python服务化部署测试配置文件
+    |--docs                                 # 文档目录
+    |   |--test_serving_infer_python.md   # python服务化部署测试说明文档
+    |----README.md                          # TIPC说明文档
+    |----test_serving_infer_python.sh     # TIPC python服务化部署解析脚本，无需改动
+    |----common_func.sh                     # TIPC基础训练推理测试常用函数，无需改动
+```
+
+基于`test_serving_infer_python.md`文档，跑通`python服务化部署功能测试`流程。
+
+<a name="4"></a>
+
+## 4. FAQ

tutorials/tipc/train_infer_python/README.md

@@ -145,9 +145,10 @@ repo中包含`lite_data`小数据集压缩包，解压之后可以获取`lite_da
 基础训练推理测试开发的流程如下所示。
 
 <div align="center">
-    <img src="./images/test_linux_train_infer_python_pipeline.png" width="400">
+    <img src="../train_infer_python/images/test_linux_train_infer_python_pipeline.png" width="400">
 </div>
 
+
 更多的介绍可以参考：[Linux GPU/CPU 基础训练推理测试开发规范](./test_train_infer_python.md)。