Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleClas
提交
c362f049
P
PaddleClas
项目概览
PaddlePaddle
/
PaddleClas
1 年多 前同步成功
通知
115
Star
4999
Fork
1114
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
19
列表
看板
标记
里程碑
合并请求
6
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleClas
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
19
Issue
19
列表
看板
标记
里程碑
合并请求
6
合并请求
6
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
c362f049
编写于
11月 30, 2021
作者:
S
stephon
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add some statement
上级
4eb47715
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
9 addition
and
3 deletion
+9
-3
docs/zh_CN/inference_deployment/paddle_serving_deploy.md
docs/zh_CN/inference_deployment/paddle_serving_deploy.md
+9
-3
未找到文件。
docs/zh_CN/inference_deployment/paddle_serving_deploy.md
浏览文件 @
c362f049
...
...
@@ -13,7 +13,7 @@
## 1. 简介
[
Paddle Serving
](
https://github.com/PaddlePaddle/Serving
)
旨在帮助深度学习开发者轻松部署在线预测服务,支持一键部署工业级的服务能力、客户端和服务端之间高并发和高效通信、并支持多种编程语言开发客户端。
该部分以 HTTP 预测服务部署为例,介绍怎样在 PaddleClas 中使用 PaddleServing 部署模型服务。
该部分以 HTTP 预测服务部署为例,介绍怎样在 PaddleClas 中使用 PaddleServing 部署模型服务。
目前只支持Linux平台部署,暂不支持Windows平台。
<a
name=
"2"
></a>
## 2. Serving 安装
...
...
@@ -38,6 +38,12 @@ pip3 install paddle-serving-server-gpu==0.7.0.post101 # GPU with CUDA10.1 + Tens
pip3
install
paddle-serving-server-gpu
==
0.7.0.post112
# GPU with CUDA11.2 + TensorRT8
```
Paddle官方后续不再维护python3.5,此处建议修改python3的版本,以使用python3.7为例:
```
rm -rf /usr/local/bin/python3
ln -s /usr/local/bin/python3.7 /usr/local/bin/python3
```
*
如果安装速度太慢,可以通过
`-i https://pypi.tuna.tsinghua.edu.cn/simple`
更换源,加速安装过程。
*
其他环境配置安装请参考:
[
使用Docker安装Paddle Serving
](
https://github.com/PaddlePaddle/Serving/blob/v0.7.0/doc/Install_CN.md
)
...
...
@@ -72,7 +78,7 @@ python3 -m paddle_serving_client.convert --dirname ./ResNet50_vd_infer/ \
```
ResNet50_vd 推理模型转换完成后,会在当前文件夹多出
`ResNet50_vd_serving`
和
`ResNet50_vd_client`
的文件夹,具备如下格式:
```
|- ResNet50_vd_
client
/
|- ResNet50_vd_
server
/
|- __model__
|- __params__
|- serving_server_conf.prototxt
...
...
@@ -81,7 +87,7 @@ ResNet50_vd 推理模型转换完成后,会在当前文件夹多出 `ResNet50_
|- serving_client_conf.prototxt
|- serving_client_conf.stream.prototxt
```
得到模型文件之后,需要修改
serving_server_conf.prototxt
中的 alias 名字:将
`fetch_var`
中的
`alias_name`
改为
`prediction`
得到模型文件之后,需要修改
`ResNet50_vd_server`
下文件
`serving_server_conf.prototxt`
中的 alias 名字:将
`fetch_var`
中的
`alias_name`
改为
`prediction`
**备注**
: Serving 为了兼容不同模型的部署,提供了输入输出重命名的功能。这样,不同的模型在推理部署时,只需要修改配置文件的 alias_name 即可,无需修改代码即可完成推理部署。
修改后的 serving_server_conf.prototxt 如下所示:
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录