Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
Serving
提交
2bd7926e
S
Serving
项目概览
PaddlePaddle
/
Serving
1 年多 前同步成功
通知
186
Star
833
Fork
253
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
105
列表
看板
标记
里程碑
合并请求
10
Wiki
2
Wiki
分析
仓库
DevOps
项目成员
Pages
S
Serving
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
105
Issue
105
列表
看板
标记
里程碑
合并请求
10
合并请求
10
Pages
分析
分析
仓库分析
DevOps
Wiki
2
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
2bd7926e
编写于
5月 11, 2021
作者:
Z
zhangjun
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
[doc] replase paddle_serving_server_gpu with paddle_serving_server
上级
c7eea0f7
变更
13
隐藏空白更改
内联
并排
Showing
13 changed file
with
18 addition
and
18 deletion
+18
-18
doc/BAIDU_KUNLUN_XPU_SERVING.md
doc/BAIDU_KUNLUN_XPU_SERVING.md
+3
-3
doc/BAIDU_KUNLUN_XPU_SERVING_CN.md
doc/BAIDU_KUNLUN_XPU_SERVING_CN.md
+3
-3
doc/BERT_10_MINS.md
doc/BERT_10_MINS.md
+1
-1
doc/BERT_10_MINS_CN.md
doc/BERT_10_MINS_CN.md
+1
-1
doc/ENCRYPTION.md
doc/ENCRYPTION.md
+1
-1
doc/ENCRYPTION_CN.md
doc/ENCRYPTION_CN.md
+1
-1
doc/MULTI_SERVICE_ON_ONE_GPU_CN.md
doc/MULTI_SERVICE_ON_ONE_GPU_CN.md
+2
-2
doc/SAVE.md
doc/SAVE.md
+1
-1
doc/SAVE_CN.md
doc/SAVE_CN.md
+1
-1
doc/TENSOR_RT.md
doc/TENSOR_RT.md
+1
-1
doc/TENSOR_RT_CN.md
doc/TENSOR_RT_CN.md
+1
-1
doc/WINDOWS_TUTORIAL.md
doc/WINDOWS_TUTORIAL.md
+1
-1
doc/WINDOWS_TUTORIAL_CN.md
doc/WINDOWS_TUTORIAL_CN.md
+1
-1
未找到文件。
doc/BAIDU_KUNLUN_XPU_SERVING.md
浏览文件 @
2bd7926e
...
...
@@ -80,15 +80,15 @@ The first two deployment methods are recommended。
Start the rpc service, deploying on ARM server with Baidu Kunlun chips,and accelerate with Paddle-Lite and Baidu Kunlun xpu.
```
python3 -m paddle_serving_server
_gpu
.serve --model uci_housing_model --thread 6 --port 9292 --use_lite --use_xpu --ir_optim
python3 -m paddle_serving_server.serve --model uci_housing_model --thread 6 --port 9292 --use_lite --use_xpu --ir_optim
```
Start the rpc service, deploying on ARM server,and accelerate with Paddle-Lite.
```
python3 -m paddle_serving_server
_gpu
.serve --model uci_housing_model --thread 6 --port 9292 --use_lite --ir_optim
python3 -m paddle_serving_server.serve --model uci_housing_model --thread 6 --port 9292 --use_lite --ir_optim
```
Start the rpc service, deploying on ARM server.
```
python3 -m paddle_serving_server
_gpu
.serve --model uci_housing_model --thread 6 --port 9292
python3 -m paddle_serving_server.serve --model uci_housing_model --thread 6 --port 9292
```
##
```
...
...
doc/BAIDU_KUNLUN_XPU_SERVING_CN.md
浏览文件 @
2bd7926e
...
...
@@ -76,15 +76,15 @@ tar -xzf uci_housing.tar.gz
启动rpc服务,使用arm cpu+xpu部署,使用Paddle-Lite xpu优化加速能力
```
python3 -m paddle_serving_server
_gpu
.serve --model uci_housing_model --thread 6 --port 9292 --use_lite --use_xpu --ir_optim
python3 -m paddle_serving_server.serve --model uci_housing_model --thread 6 --port 9292 --use_lite --use_xpu --ir_optim
```
启动rpc服务,使用arm cpu部署, 使用Paddle-Lite加速能力
```
python3 -m paddle_serving_server
_gpu
.serve --model uci_housing_model --thread 6 --port 9292 --use_lite --ir_optim
python3 -m paddle_serving_server.serve --model uci_housing_model --thread 6 --port 9292 --use_lite --ir_optim
```
启动rpc服务,使用arm cpu部署, 不使用Paddle-Lite加速能力
```
python3 -m paddle_serving_server
_gpu
.serve --model uci_housing_model --thread 6 --port 9292
python3 -m paddle_serving_server.serve --model uci_housing_model --thread 6 --port 9292
```
## client调用
```
...
...
doc/BERT_10_MINS.md
浏览文件 @
2bd7926e
...
...
@@ -52,7 +52,7 @@ python -m paddle_serving_server.serve --model bert_seq128_model/ --port 9292 #c
```
Or,start gpu inference service,Run
```
python -m paddle_serving_server
_gpu
.serve --model bert_seq128_model/ --port 9292 --gpu_ids 0 #launch gpu inference service at GPU 0
python -m paddle_serving_server.serve --model bert_seq128_model/ --port 9292 --gpu_ids 0 #launch gpu inference service at GPU 0
```
| Parameters | Meaning |
| ---------- | ---------------------------------------- |
...
...
doc/BERT_10_MINS_CN.md
浏览文件 @
2bd7926e
...
...
@@ -50,7 +50,7 @@ python -m paddle_serving_server.serve --model bert_seq128_model/ --port 9292 #
```
或者,启动gpu预测服务,执行
```
python -m paddle_serving_server
_gpu
.serve --model bert_seq128_model/ --port 9292 --gpu_ids 0 #在gpu 0上启动gpu预测服务
python -m paddle_serving_server.serve --model bert_seq128_model/ --port 9292 --gpu_ids 0 #在gpu 0上启动gpu预测服务
```
...
...
doc/ENCRYPTION.md
浏览文件 @
2bd7926e
...
...
@@ -25,7 +25,7 @@ python -m paddle_serving_server.serve --model encrypt_server/ --port 9300 --use_
```
GPU Service
```
python -m paddle_serving_server
_gpu
.serve --model encrypt_server/ --port 9300 --use_encryption_model --gpu_ids 0
python -m paddle_serving_server.serve --model encrypt_server/ --port 9300 --use_encryption_model --gpu_ids 0
```
At this point, the server does not really start, but waits for the key。
...
...
doc/ENCRYPTION_CN.md
浏览文件 @
2bd7926e
...
...
@@ -25,7 +25,7 @@ python -m paddle_serving_server.serve --model encrypt_server/ --port 9300 --use_
```
GPU Service
```
python -m paddle_serving_server
_gpu
.serve --model encrypt_server/ --port 9300 --use_encryption_model --gpu_ids 0
python -m paddle_serving_server.serve --model encrypt_server/ --port 9300 --use_encryption_model --gpu_ids 0
```
此时,服务器不会真正启动,而是等待密钥。
...
...
doc/MULTI_SERVICE_ON_ONE_GPU_CN.md
浏览文件 @
2bd7926e
...
...
@@ -5,8 +5,8 @@
例如:
```
shell
python
-m
paddle_serving_server
_gpu
.serve
--model
bert_seq128_model
--port
9292
--gpu_ids
0
python
-m
paddle_serving_server
_gpu
.serve
--model
ResNet50_vd_model
--port
9393
--gpu_ids
0
python
-m
paddle_serving_server.serve
--model
bert_seq128_model
--port
9292
--gpu_ids
0
python
-m
paddle_serving_server.serve
--model
ResNet50_vd_model
--port
9393
--gpu_ids
0
```
在卡0上,同时部署了bert示例和iamgenet示例。
...
...
doc/SAVE.md
浏览文件 @
2bd7926e
...
...
@@ -38,7 +38,7 @@ We can see that the `serving_server` and `serving_client` folders hold the serve
Start the server (GPU)
```
python -m paddle_serving_server
_gpu
.serve --model serving_server --port 9393 --gpu_id 0
python -m paddle_serving_server.serve --model serving_server --port 9393 --gpu_id 0
```
Client (`test_client.py`)
...
...
doc/SAVE_CN.md
浏览文件 @
2bd7926e
...
...
@@ -37,7 +37,7 @@ python -m paddle_serving_client.convert --dirname . --model_filename dygraph_mod
启动服务端(GPU)
```
python -m paddle_serving_server
_gpu
.serve --model serving_server --port 9393 --gpu_id 0
python -m paddle_serving_server.serve --model serving_server --port 9393 --gpu_id 0
```
客户端写法,保存为
`test_client.py`
...
...
doc/TENSOR_RT.md
浏览文件 @
2bd7926e
...
...
@@ -50,7 +50,7 @@ We just need
```
wget --no-check-certificate https://paddle-serving.bj.bcebos.com/pddet_demo/2.0/faster_rcnn_r50_fpn_1x_coco.tar
tar xf faster_rcnn_r50_fpn_1x_coco.tar
python -m paddle_serving_server
_gpu
.serve --model serving_server --port 9494 --gpu_ids 0 --use_trt
python -m paddle_serving_server.serve --model serving_server --port 9494 --gpu_ids 0 --use_trt
```
The TensorRT version of the faster_rcnn model server is started
...
...
doc/TENSOR_RT_CN.md
浏览文件 @
2bd7926e
...
...
@@ -50,7 +50,7 @@ pip install paddle-server-server==${VERSION}.post11
```
wget --no-check-certificate https://paddle-serving.bj.bcebos.com/pddet_demo/2.0/faster_rcnn_r50_fpn_1x_coco.tar
tar xf faster_rcnn_r50_fpn_1x_coco.tar
python -m paddle_serving_server
_gpu
.serve --model serving_server --port 9494 --gpu_ids 0 --use_trt
python -m paddle_serving_server.serve --model serving_server --port 9494 --gpu_ids 0 --use_trt
```
TensorRT版本的faster_rcnn模型服务端就启动了
...
...
doc/WINDOWS_TUTORIAL.md
浏览文件 @
2bd7926e
...
...
@@ -54,7 +54,7 @@ Currently Windows supports the Local Predictor of the Web Service framework. The
```
# filename:your_webservice.py
from paddle_serving_server.web_service import WebService
# If it is the GPU version, please use from paddle_serving_server
_gpu
.web_service import WebService
# If it is the GPU version, please use from paddle_serving_server.web_service import WebService
class YourWebService(WebService):
def preprocess(self, feed=[], fetch=[]):
#Implement pre-processing here
...
...
doc/WINDOWS_TUTORIAL_CN.md
浏览文件 @
2bd7926e
...
...
@@ -54,7 +54,7 @@ python ocr_web_client.py
```
# filename:your_webservice.py
from paddle_serving_server.web_service import WebService
# 如果是GPU版本,请使用 from paddle_serving_server
_gpu
.web_service import WebService
# 如果是GPU版本,请使用 from paddle_serving_server.web_service import WebService
class YourWebService(WebService):
def preprocess(self, feed=[], fetch=[]):
#在这里实现前处理
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录