Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleHub
提交
f378a281
P
PaddleHub
项目概览
PaddlePaddle
/
PaddleHub
大约 1 年 前同步成功
通知
282
Star
12117
Fork
2091
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
200
列表
看板
标记
里程碑
合并请求
4
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleHub
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
200
Issue
200
列表
看板
标记
里程碑
合并请求
4
合并请求
4
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
f378a281
编写于
1月 08, 2020
作者:
走神的阿圆
提交者:
Steffy-zxf
1月 08, 2020
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix tutorial (#318)
上级
90bbb041
变更
2
显示空白变更内容
内联
并排
Showing
2 changed file
with
7 addition
and
17 deletion
+7
-17
tutorial/bert_service.md
tutorial/bert_service.md
+1
-2
tutorial/serving.md
tutorial/serving.md
+6
-15
未找到文件。
tutorial/bert_service.md
浏览文件 @
f378a281
...
...
@@ -40,7 +40,6 @@
|PaddleHub|>=1.4.0|无|
|PaddlePaddle|>=1.6.1|若使用GPU计算,则对应使用PaddlePaddle-gpu版本|
|GCC|>=4.8|无|
|CUDA
*
|>=8|若使用GPU,需使用CUDA8以上版本|
|paddle-gpu-serving
*
|>=0.8.2|在
`Bert Service`
服务端需依赖此包|
|ujson
*
|>=1.35|在
`Bert Service`
客户端需依赖此包|
...
...
@@ -201,7 +200,7 @@ result = bc.get_result(input_text=input_text)
```
python
[[
0.9993321895599361
,
0.9994612336158751
,
0.9999646544456481
,
0.732795298099517
,
-
0.34387934207916204
,
...
]]
```
客户端代码demo文件见
[
示例
](
../
paddlehub/serving/bert_serving/bert_service
.py
)
。
客户端代码demo文件见
[
示例
](
../
demo/serving/bert_service/bert_service_client
.py
)
。
运行命令如下:
```
shell
$
python bert_service_client.py
...
...
tutorial/serving.md
浏览文件 @
f378a281
...
...
@@ -8,15 +8,6 @@ PaddleHub Serving是基于PaddleHub的一键模型服务部署工具,能够通
### 支持模型
目前PaddleHub Serving支持对PaddleHub所有可直接预测的模型进行服务部署,包括
`lac`
、
`senta_bilstm`
等NLP类模型,以及
`yolov3_darknet53_coco2017`
、
`vgg16_imagenet`
等CV类模型,更多模型请参见
[
PaddleHub支持模型列表
](
https://paddlepaddle.org.cn/hublist
)
。未来还将支持开发者使用PaddleHub Fine-tune API得到的模型用于快捷服务部署。
### 所需环境
下表是使用PaddleHub Serving的环境要求及注意事项。
|项目|建议版本|说明|
|:-:|:-:|:-:|
|操作系统|Linux/Darwin/Windows|建议使用Linux或Darwin,对多线程启动方式支持性较好|
|PaddleHub|>=1.4.0|无|
|PaddlePaddle|>=1.6.1|若使用GPU计算,则对应使用PaddlePaddle-gpu版本|
## 使用
### Step1:启动服务端部署
PaddleHub Serving有两种启动方式,分别是使用命令行启动,以及使用配置文件启动。
...
...
@@ -37,7 +28,7 @@ $ hub serving start --modules [Module1==Version1, Module2==Version2, ...] \
|--modules/-m|PaddleHub Serving预安装模型,以多个Module==Version键值对的形式列出
<br>
*`当不指定Version时,默认选择最新版本`*
|
|--port/-p|服务端口,默认为8866|
|--use_gpu|使用GPU进行预测,必须安装paddlepaddle-gpu|
|--use_multiprocess|是否启用并发方式,默认为单进程方式|
|--use_multiprocess|是否启用并发方式,默认为单进程方式
,推荐多核CPU机器使用此方式
<br>
*`Windows操作系统只支持单进程方式`*
|
#### 配置文件启动
启动命令
...
...
@@ -60,8 +51,8 @@ $ hub serving start --config config.json
"batch_size"
:
"BATCH_SIZE_2"
}
],
"use_gpu"
:
false
,
"port"
:
8866
,
"use_gpu"
:
false
,
"use_multiprocess"
:
false
}
```
...
...
@@ -70,10 +61,10 @@ $ hub serving start --config config.json
|参数|用途|
|-|-|
|
--
modules_info|PaddleHub Serving预安装模型,以字典列表形式列出,其中:
<br>
`module`
为预测服务使用的模型名
<br>
`version`
为预测模型的版本
<br>
`batch_size`
为预测批次大小
|
--use_gpu|使用GPU进行预测,必须安装paddlepaddle-gpu
|
|
--port/-p|服务端口,默认为8866
|
|
--use_multiprocess|是否启用并发方式,默认为单进程方式,推荐多核CPU机器使用此方式
|
|modules_info|PaddleHub Serving预安装模型,以字典列表形式列出,其中:
<br>
`module`
为预测服务使用的模型名
<br>
`version`
为预测模型的版本
<br>
`batch_size`
为预测批次大小
|
port|服务端口,默认为8866
|
|
use_gpu|使用GPU进行预测,必须安装paddlepaddle-gpu
|
|
use_multiprocess|是否启用并发方式,默认为单进程方式,推荐多核CPU机器使用此方式
<br>
*`Windows操作系统只支持单进程方式`*
|
### Step2:访问服务端
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录