readme.md 4.9 KB
Newer Older
W
wangjiawei04 已提交
1
# Paddle Serving 服务部署(Beta)
M
MissPenguin 已提交
2

M
MissPenguin 已提交
3
本教程将介绍基于[Paddle Serving](https://github.com/PaddlePaddle/Serving)部署PaddleOCR在线预测服务的详细步骤。
M
MissPenguin 已提交
4 5 6 7

## 快速启动服务

### 1. 准备环境
W
wangjiawei04 已提交
8 9 10
我们先安装Paddle Serving相关组件
我们推荐用户使用GPU来做Paddle Serving的OCR服务部署 

W
wangjiawei04 已提交
11
**CUDA版本:9.0**
J
Jiawei Wang 已提交
12

W
wangjiawei04 已提交
13
**CUDNN版本:7.0**
J
Jiawei Wang 已提交
14

W
wangjiawei04 已提交
15 16
**操作系统版本:CentOS 6以上**

J
Jiawei Wang 已提交
17 18
**Python3操作指南:**
```
W
wangjiawei04 已提交
19 20
#以下提供beta版本的paddle serving whl包,欢迎试用,正式版会在8月中正式上线
#GPU用户下载server包使用这个链接
J
Jiawei Wang 已提交
21
wget --no-check-certificate https://paddle-serving.bj.bcebos.com/others/paddle_serving_server_gpu-0.3.2-py3-none-any.whl
W
wangjiawei04 已提交
22 23 24 25 26
python -m pip install paddle_serving_server_gpu-0.3.2-py3-none-any.whl
#CPU版本请下载以下whl包使用这个链接
wget --no-check-certificate https://paddle-serving.bj.bcebos.com/others/paddle_serving_server-0.3.2-py3-none-any.whl
python -m pip install paddle_serving_server-0.3.2-py3-none-any.whl
#客户端和App包使用以下链接(CPU,GPU通用)
J
Jiawei Wang 已提交
27 28
wget --no-check-certificate https://paddle-serving.bj.bcebos.com/others/paddle_serving_client-0.3.2-cp36-none-any.whl
wget --no-check-certificate https://paddle-serving.bj.bcebos.com/others/paddle_serving_app-0.1.2-py3-none-any.whl
W
wangjiawei04 已提交
29
python -m pip install paddle_serving_app-0.1.2-py3-none-any.whl paddle_serving_client-0.3.2-cp36-none-any.whl
J
Jiawei Wang 已提交
30 31 32
```

**Python2操作指南:**
W
wangjiawei04 已提交
33
```
W
wangjiawei04 已提交
34 35
#以下提供beta版本的paddle serving whl包,欢迎试用,正式版会在8月中正式上线
#GPU用户下载server包使用这个链接
W
wangjiawei04 已提交
36
wget --no-check-certificate https://paddle-serving.bj.bcebos.com/others/paddle_serving_server_gpu-0.3.2-py2-none-any.whl
W
wangjiawei04 已提交
37 38 39 40 41 42
python -m pip install paddle_serving_server_gpu-0.3.2-py2-none-any.whl 
#CPU版本请下载以下whl包使用这个链接
wget --no-check-certificate https://paddle-serving.bj.bcebos.com/others/paddle_serving_server-0.3.2-py2-none-any.whl
python -m pip install paddle_serving_server-0.3.2-py2-none-any.whl

#客户端和App包使用以下链接(CPU,GPU通用)
W
wangjiawei04 已提交
43
wget --no-check-certificate https://paddle-serving.bj.bcebos.com/others/paddle_serving_app-0.1.2-py2-none-any.whl
W
wangjiawei04 已提交
44
wget --no-check-certificate https://paddle-serving.bj.bcebos.com/others/paddle_serving_client-0.3.2-cp27-none-any.whl
W
wangjiawei04 已提交
45
python -m pip install paddle_serving_app-0.1.2-py2-none-any.whl paddle_serving_client-0.3.2-cp27-none-any.whl
W
wangjiawei04 已提交
46
```
M
MissPenguin 已提交
47 48

### 2. 模型转换
W
wangjiawei04 已提交
49 50 51 52 53 54 55 56
可以使用`paddle_serving_app`提供的模型,执行下列命令
```
python -m paddle_serving_app.package --get_model ocr_rec
tar -xzvf ocr_rec.tar.gz
python -m paddle_serving_app.package --get_model ocr_det
tar -xzvf ocr_det.tar.gz 
```
执行上述命令会下载`db_crnn_mobile`的模型,如果想要下载规模更大的`db_crnn_server`模型,可以在下载预测模型并解压之后。参考[如何从Paddle保存的预测模型转为Paddle Serving格式可部署的模型](https://github.com/PaddlePaddle/Serving/blob/develop/doc/INFERENCE_TO_SERVING_CN.md)
M
MissPenguin 已提交
57 58 59 60 61 62

### 3. 启动服务
启动服务可以根据实际需求选择启动`标准版`或者`快速版`,两种方式的对比如下表:  

|版本|特点|适用场景|
|-|-|-|
W
wangjiawei04 已提交
63 64
|标准版|稳定性高,分布式部署|适用于吞吐量大,需要跨机房部署的情况|
|快速版|部署方便,预测速度快|适用于对预测速度要求高,迭代速度快的场景|
M
MissPenguin 已提交
65 66 67

#### 方式1. 启动标准版服务

W
wangjiawei04 已提交
68 69
```
python -m paddle_serving_server_gpu.serve --model ocr_det_model --port 9293 --gpu_id 0
W
wangjiawei04 已提交
70 71 72 73
# cpu,gpu启动二选一,以下是cpu启动
python ocr_web_server.py cpu
# gpu启动
python ocr_web_server.py gpu
W
wangjiawei04 已提交
74 75
```

M
MissPenguin 已提交
76 77
#### 方式2. 启动快速版服务

W
wangjiawei04 已提交
78
```
W
wangjiawei04 已提交
79 80 81 82
# cpu,gpu启动二选一,以下是cpu启动
python ocr_local_server.py cpu
# gpu启动
python ocr_local_server.py gpu
W
wangjiawei04 已提交
83
```
M
MissPenguin 已提交
84 85 86

## 发送预测请求

W
wangjiawei04 已提交
87 88 89 90
```
python ocr_web_client.py
```

M
MissPenguin 已提交
91 92
## 返回结果格式说明

W
wangjiawei04 已提交
93 94 95 96 97 98 99 100 101 102
返回结果是json格式
```
{u'result': {u'res': [u'\u571f\u5730\u6574\u6cbb\u4e0e\u571f\u58e4\u4fee\u590d\u7814\u7a76\u4e2d\u5fc3', u'\u534e\u5357\u519c\u4e1a\u5927\u5b661\u7d20\u56fe']}}
```
我们也可以打印结果json串中`res`字段的每一句话
```
土地整治与土壤修复研究中心
华南农业大学1素图
```

M
MissPenguin 已提交
103
## 自定义修改服务逻辑
W
wangjiawei04 已提交
104

W
wangjiawei04 已提交
105
`ocr_web_server.py`或是`ocr_local_server.py`当中的`preprocess`函数里面做了检测服务和识别服务的前处理,`postprocess`函数里面做了识别的后处理服务,可以在相应的函数中做修改。调用了`paddle_serving_app`库提供的常见CV模型的前处理/后处理库。
W
wangjiawei04 已提交
106

W
wangjiawei04 已提交
107
如果想要单独启动Paddle Serving的检测服务和识别服务,参见下列表格, 执行对应的脚本即可,并且在命令行参数注明用的CPU或是GPU来提供服务。
W
wangjiawei04 已提交
108 109 110 111 112 113 114

| 模型 | 标准版         | 快速版           |
| ---- | ----------------- | ------------------- |
| 检测 | det_web_server.py | det_local_server.py |
| 识别 | rec_web_server.py | rec_local_server.py |

更多信息参见[Paddle Serving](https://github.com/PaddlePaddle/Serving)