diff --git a/tutorials/tipc/paddle2onnx/paddle2onnx.md b/tutorials/tipc/paddle2onnx/paddle2onnx.md index 79f3d882c0634e2bbddf4be27c7afd33c20a4cae..d8a2008316298d98d8bc557b1a31e9060c24a220 100644 --- a/tutorials/tipc/paddle2onnx/paddle2onnx.md +++ b/tutorials/tipc/paddle2onnx/paddle2onnx.md @@ -46,13 +46,13 @@ Paddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式,算 - 安装 Paddle2ONNX ``` -python3 -m pip install paddle2onnx +python -m pip install paddle2onnx ``` - 安装 ONNXRuntime ``` # 建议安装 1.9.0 版本,可根据环境更换版本号 -python3 -m pip install onnxruntime==1.9.0 +python -m pip install onnxruntime==1.9.0 ``` diff --git a/tutorials/tipc/paddle2onnx/test_paddle2onnx.md b/tutorials/tipc/paddle2onnx/test_paddle2onnx.md index 22d8407397c183f309e96658ccd3e57dac2a40ef..22e4f006f82d2b4ecbdc9337f0147ea6ffe8407f 100644 --- a/tutorials/tipc/paddle2onnx/test_paddle2onnx.md +++ b/tutorials/tipc/paddle2onnx/test_paddle2onnx.md @@ -7,12 +7,12 @@ - [2.1 命令解析](#2.1) - [2.2 配置文件和运行命令映射解析](#2.2) - [3. 基本训练推理功能测试开发](#3) - - [2.1 准备待测试的命令](#3.1) - - [2.2 准备数据与环境](#3.2) - - [2.3 准备开发所需脚本](#3.3) - - [2.4 填写配置文件](#3.4) - - [2.5 验证配置正确性](#3.5) - - [2.6 撰写说明文档](#3.6) + - [3.1 准备待测试的命令](#3.1) + - [3.2 准备数据与环境](#3.2) + - [3.3 准备开发所需脚本](#3.3) + - [3.4 填写配置文件](#3.4) + - [3.5 验证配置正确性](#3.5) + - [3.6 撰写说明文档](#3.6) - [4. FAQ](#4) @@ -229,7 +229,8 @@ Run failed with command - paddle2onnx --model_dir=./inference/mobilenet_v3_small 以mobilenet_v3_small的`Linux GPU/CPU 离线量化训练推理功能测试` 为例,命令如下所示。 ```bash -bash test_tipc/test_paddle2onnx.sh ./test_tipc/configs/mobilenet_v3_small/paddle2onnx_infer_python.txt paddle2onnx +bash test_tipc/prepare.sh ${your_params_file} paddle2onnx +bash test_tipc/test_paddle2onnx.sh ${your_params_file} paddle2onnx ``` 输出结果如下,表示命令运行成功。 diff --git a/tutorials/tipc/serving_python/serving_python.md b/tutorials/tipc/serving_python/serving_python.md index a7a87366c98ead7a430fa53e1e7c99e4d899eff6..1249304a4fc398a1ff75006ef94c33f627a9d11a 100644 --- a/tutorials/tipc/serving_python/serving_python.md +++ b/tutorials/tipc/serving_python/serving_python.md @@ -41,7 +41,11 @@ Paddle Serving服务化部署主要包括以下步骤: ### 2.1 准备测试数据 -准备测试数据及对应的数据标签,用于后续[推理预测阶段](#2.7)。 + +为方便快速验证推理预测过程,需要准备一个小数据集(训练集和验证集各8~16张图像即可,压缩后数据大小建议在`20M`以内,确保基础训练推理总时间不超过十分钟),放在`lite_data`文件夹下。 + + 相关文档可以参考[论文复现赛指南3.2章节](../../../docs/lwfx/ArticleReproduction_CV.md),代码可以参考`基于ImageNet准备小数据集的脚本`:[prepare.py](https://github.com/littletomatodonkey/AlexNet-Prod/blob/tipc/pipeline/Step2/prepare.py)。 + 本教程以`./images/demo.jpg`作为测试用例。 @@ -95,9 +99,9 @@ cd models/tutorials/tipc/serving_python ### 2.3 准备服务化部署模型 -#### 2.3.1 下载MobilenetV3 inference模型 +#### 2.3.1 准备MobilenetV3 inference模型 -参考[MobilenetV3](../../mobilenetv3_prod/Step6/README.md#2),下载inference模型 +参考[MobilenetV3](../../mobilenetv3_prod/Step6/README.md#2),确保 inference 模型在当前目录下。 #### 2.3.2 准备服务化部署模型 @@ -106,7 +110,7 @@ cd models/tutorials/tipc/serving_python 为了便于模型服务化部署,需要将静态图模型(模型结构文件:\*.pdmodel和模型参数文件:\*.pdiparams)使用paddle_serving_client.convert按如下命令转换为服务化部署模型: ```bash -python3 -m paddle_serving_client.convert --dirname {静态图模型路径} --model_filename {模型结构文件} --params_filename {模型参数文件} --serving_server {转换后的服务器端模型和配置文件存储路径} --serving_client {转换后的客户端模型和配置文件存储路径} +python -m paddle_serving_client.convert --dirname {静态图模型路径} --model_filename {模型结构文件} --params_filename {模型参数文件} --serving_server {转换后的服务器端模型和配置文件存储路径} --serving_client {转换后的客户端模型和配置文件存储路径} ``` 上面命令中 "转换后的服务器端模型和配置文件" 将用于后续服务化部署。其中`paddle_serving_client.convert`命令是`paddle_serving_client` whl包内置的转换函数,无需修改。 @@ -115,7 +119,7 @@ python3 -m paddle_serving_client.convert --dirname {静态图模型路径} --mod 针对MobileNetV3网络,将inference模型转换为服务化部署模型的示例命令如下,转换完后在本地生成**serving_server**和**serving_client**两个文件夹。本教程后续主要使用serving_server文件夹中的模型。 ```bash -python3 -m paddle_serving_client.convert \ +python -m paddle_serving_client.convert \ --dirname ./mobilenet_v3_small_infer/ \ --model_filename inference.pdmodel \ --params_filename inference.pdiparams \ @@ -312,7 +316,7 @@ img_path = "./images/demo.jpg" 当完成服务化部署引擎初始化、数据预处理和预测结果后处理开发,则可以按如下命令启动模型预测服务: ```bash -python3 web_service.py & +python web_service.py & ``` **【实战】** @@ -332,7 +336,7 @@ python3 web_service.py & 客户端访问服务的命令如下: ```bash -python3 pipeline_http_client.py +python pipeline_http_client.py ``` 访问成功的界面如下图: diff --git a/tutorials/tipc/serving_python/test_serving_python.md b/tutorials/tipc/serving_python/test_serving_python.md index 42cde5bd5b1cbb8c756af951f7fc4f97cdf0c5ab..37329a47872347ccabba60820fdfd711360db097 100644 --- a/tutorials/tipc/serving_python/test_serving_python.md +++ b/tutorials/tipc/serving_python/test_serving_python.md @@ -7,12 +7,12 @@ - [2.1 命令解析](#2.1) - [2.2 配置文件和运行命令映射解析](#2.2) - [3. 基本训练推理功能测试开发](#3) - - [2.1 准备待测试的命令](#3.1) - - [2.2 准备数据与环境](#3.2) - - [2.3 准备开发所需脚本](#3.3) - - [2.4 填写配置文件](#3.4) - - [2.5 验证配置正确性](#3.5) - - [2.6 撰写说明文档](#3.6) + - [3.1 准备待测试的命令](#3.1) + - [3.2 准备数据与环境](#3.2) + - [3.3 准备开发所需脚本](#3.3) + - [3.4 填写配置文件](#3.4) + - [3.5 验证配置正确性](#3.5) + - [3.6 撰写说明文档](#3.6) - [4. FAQ](#4) @@ -167,7 +167,7 @@ python3.7 pipeline_http_client.py --image_dir=../../lite_data/test/ 相关文档可以参考[论文复现赛指南3.2章节](../../../docs/lwfx/ArticleReproduction_CV.md),代码可以参考`基于ImageNet准备小数据集的脚本`:[prepare.py](https://github.com/littletomatodonkey/AlexNet-Prod/blob/tipc/pipeline/Step2/prepare.py)。 -2. 环境:安装好PaddlePaddle即可进行离线量化训练推理测试开发 +2. 环境:安装好PaddlePaddle即可进行python服务化部署测试开发 **【注意事项】** @@ -226,7 +226,7 @@ Run failed with command - python3.7 pipeline_http_client.py > ../../log/mobilene **【实战】** -以mobilenet_v3_small的`Linux GPU/CPU 离线量化训练推理功能测试` 为例,命令如下所示。 +以mobilenet_v3_small的`Linux GPU/CPU python服务化部署功能测试` 为例,命令如下所示。 ```bash bash test_tipc/test_serving_infer_python.sh test_tipc/configs/mobilenet_v3_small/serving_infer_python.txt serving_infer @@ -251,7 +251,7 @@ Run successfully with command - python3.7 pipeline_http_client.py > ../../log/mo 撰写TIPC功能总览和测试流程说明文档,分别为 1. TIPC功能总览文档:test_tipc/README.md -2. Linux GPU/CPU 离线量化训练推理功能测试说明文档:test_tipc/docs/test_serving_infer_python.md +2. Linux GPU/CPU python服务化部署功能测试说明文档:test_tipc/docs/test_serving_infer_python.md 2个文档模板分别位于下述位置,可以直接拷贝到自己的repo中,根据自己的模型进行修改。