提交 c362f049 编写于 作者: S stephon

add some statement

上级 4eb47715
...@@ -13,7 +13,7 @@ ...@@ -13,7 +13,7 @@
## 1. 简介 ## 1. 简介
[Paddle Serving](https://github.com/PaddlePaddle/Serving) 旨在帮助深度学习开发者轻松部署在线预测服务,支持一键部署工业级的服务能力、客户端和服务端之间高并发和高效通信、并支持多种编程语言开发客户端。 [Paddle Serving](https://github.com/PaddlePaddle/Serving) 旨在帮助深度学习开发者轻松部署在线预测服务,支持一键部署工业级的服务能力、客户端和服务端之间高并发和高效通信、并支持多种编程语言开发客户端。
该部分以 HTTP 预测服务部署为例,介绍怎样在 PaddleClas 中使用 PaddleServing 部署模型服务。 该部分以 HTTP 预测服务部署为例,介绍怎样在 PaddleClas 中使用 PaddleServing 部署模型服务。目前只支持Linux平台部署,暂不支持Windows平台。
<a name="2"></a> <a name="2"></a>
## 2. Serving 安装 ## 2. Serving 安装
...@@ -38,6 +38,12 @@ pip3 install paddle-serving-server-gpu==0.7.0.post101 # GPU with CUDA10.1 + Tens ...@@ -38,6 +38,12 @@ pip3 install paddle-serving-server-gpu==0.7.0.post101 # GPU with CUDA10.1 + Tens
pip3 install paddle-serving-server-gpu==0.7.0.post112 # GPU with CUDA11.2 + TensorRT8 pip3 install paddle-serving-server-gpu==0.7.0.post112 # GPU with CUDA11.2 + TensorRT8
``` ```
Paddle官方后续不再维护python3.5,此处建议修改python3的版本,以使用python3.7为例:
```
rm -rf /usr/local/bin/python3
ln -s /usr/local/bin/python3.7 /usr/local/bin/python3
```
* 如果安装速度太慢,可以通过 `-i https://pypi.tuna.tsinghua.edu.cn/simple` 更换源,加速安装过程。 * 如果安装速度太慢,可以通过 `-i https://pypi.tuna.tsinghua.edu.cn/simple` 更换源,加速安装过程。
* 其他环境配置安装请参考: [使用Docker安装Paddle Serving](https://github.com/PaddlePaddle/Serving/blob/v0.7.0/doc/Install_CN.md) * 其他环境配置安装请参考: [使用Docker安装Paddle Serving](https://github.com/PaddlePaddle/Serving/blob/v0.7.0/doc/Install_CN.md)
...@@ -72,7 +78,7 @@ python3 -m paddle_serving_client.convert --dirname ./ResNet50_vd_infer/ \ ...@@ -72,7 +78,7 @@ python3 -m paddle_serving_client.convert --dirname ./ResNet50_vd_infer/ \
``` ```
ResNet50_vd 推理模型转换完成后,会在当前文件夹多出 `ResNet50_vd_serving``ResNet50_vd_client` 的文件夹,具备如下格式: ResNet50_vd 推理模型转换完成后,会在当前文件夹多出 `ResNet50_vd_serving``ResNet50_vd_client` 的文件夹,具备如下格式:
``` ```
|- ResNet50_vd_client/ |- ResNet50_vd_server/
|- __model__ |- __model__
|- __params__ |- __params__
|- serving_server_conf.prototxt |- serving_server_conf.prototxt
...@@ -81,7 +87,7 @@ ResNet50_vd 推理模型转换完成后,会在当前文件夹多出 `ResNet50_ ...@@ -81,7 +87,7 @@ ResNet50_vd 推理模型转换完成后,会在当前文件夹多出 `ResNet50_
|- serving_client_conf.prototxt |- serving_client_conf.prototxt
|- serving_client_conf.stream.prototxt |- serving_client_conf.stream.prototxt
``` ```
得到模型文件之后,需要修改 serving_server_conf.prototxt 中的 alias 名字:将 `fetch_var` 中的 `alias_name` 改为 `prediction` 得到模型文件之后,需要修改 `ResNet50_vd_server` 下文件 `serving_server_conf.prototxt` 中的 alias 名字:将 `fetch_var` 中的 `alias_name` 改为 `prediction`
**备注**: Serving 为了兼容不同模型的部署,提供了输入输出重命名的功能。这样,不同的模型在推理部署时,只需要修改配置文件的 alias_name 即可,无需修改代码即可完成推理部署。 **备注**: Serving 为了兼容不同模型的部署,提供了输入输出重命名的功能。这样,不同的模型在推理部署时,只需要修改配置文件的 alias_name 即可,无需修改代码即可完成推理部署。
修改后的 serving_server_conf.prototxt 如下所示: 修改后的 serving_server_conf.prototxt 如下所示:
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册