Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
Serving
提交
e2c539ab
S
Serving
项目概览
PaddlePaddle
/
Serving
大约 1 年 前同步成功
通知
186
Star
833
Fork
253
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
105
列表
看板
标记
里程碑
合并请求
10
Wiki
2
Wiki
分析
仓库
DevOps
项目成员
Pages
S
Serving
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
105
Issue
105
列表
看板
标记
里程碑
合并请求
10
合并请求
10
Pages
分析
分析
仓库分析
DevOps
Wiki
2
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
e2c539ab
编写于
4月 17, 2020
作者:
B
barrierye
浏览文件
操作
浏览文件
下载
差异文件
Merge branch 'develop' of
https://github.com/PaddlePaddle/Serving
into ensemble-support
上级
502a8abc
bc001f80
变更
2
显示空白变更内容
内联
并排
Showing
2 changed file
with
59 addition
and
3 deletion
+59
-3
doc/UWSGI_DEPLOY.md
doc/UWSGI_DEPLOY.md
+58
-0
python/paddle_serving_client/__init__.py
python/paddle_serving_client/__init__.py
+1
-3
未找到文件。
doc/UWSGI_DEPLOY.md
0 → 100644
浏览文件 @
e2c539ab
# 使用uwsgi启动HTTP预测服务
在提供的fit_a_line示例中,启动HTTP预测服务后会看到有以下信息:
```
shell
web service address:
http://10.127.3.150:9393/uci/prediction
*
Serving Flask app
"serve"
(
lazy loading
)
*
Environment: production
WARNING: This is a development server. Do not use it
in
a production deployment.
Use a production WSGI server instead.
*
Debug mode: off
*
Running on http://0.0.0.0:9393/
(
Press CTRL+C to quit
)
```
这里会提示启动的HTTP服务是开发模式,并不能用于生产环境的部署。Flask启动的服务环境不够稳定也无法承受大量请求的并发,实际部署过程中配合需要WSGI(Web Server Gateway Interface)使用。
下面我们展示一下如何使用
[
uWSGI
](
https://github.com/unbit/uwsgi
)
模块来部署HTTP预测服务用于生产环境。
编写HTTP服务脚本
```
python
#uwsgi_service.py
from
paddle_serving_server.web_service
import
WebService
from
flask
import
Flask
,
request
#配置预测服务
uci_service
=
WebService
(
name
=
"uci"
)
uci_service
.
load_model_config
(
"./uci_housing_model"
)
uci_service
.
prepare_server
(
workdir
=
"./workdir"
,
port
=
int
(
9500
),
device
=
"cpu"
)
uci_service
.
run_server
()
#配置flask服务
app_instance
=
Flask
(
__name__
)
@
app_instance
.
before_first_request
def
init
():
global
uci_service
uci_service
.
_launch_web_service
()
service_name
=
"/"
+
uci_service
.
name
+
"/prediction"
@
app_instance
.
route
(
service_name
,
methods
=
[
"POST"
])
def
run
():
return
uci_service
.
get_prediction
(
request
)
#run方法用于直接调试中直接启动服务
if
__name__
==
"__main__"
:
app_instance
.
run
()
```
使用uwsgi启动HTTP服务
```
bash
uwsgi
--http
:9000
--wsgi-file
uwsgi_service.py
--callable
app_instance
--processes
4
```
使用--processes参数可以指定服务的进程数,请注意目前Serving HTTP 服务暂时不支持多线程的方式使用。
更多uWSGI的信息请参考
[
uWSGI使用文档
](
https://uwsgi-docs.readthedocs.io/en/latest/
)
python/paddle_serving_client/__init__.py
浏览文件 @
e2c539ab
...
...
@@ -18,7 +18,6 @@ import os
from
.proto
import
sdk_configure_pb2
as
sdk
from
.proto
import
general_model_config_pb2
as
m_config
import
google.protobuf.text_format
import
time
import
sys
int_type
=
0
...
...
@@ -156,8 +155,7 @@ class Client(object):
)
else
:
if
self
.
predictor_sdk_
is
None
:
timestamp
=
time
.
time
()
self
.
add_variant
(
'default_tag_{}'
.
format
(
timestamp
),
endpoints
,
self
.
add_variant
(
'default_tag_{}'
.
format
(
id
(
self
)),
endpoints
,
100
)
else
:
print
(
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录