Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
Serving
提交
353b481f
S
Serving
项目概览
PaddlePaddle
/
Serving
大约 1 年 前同步成功
通知
186
Star
833
Fork
253
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
105
列表
看板
标记
里程碑
合并请求
10
Wiki
2
Wiki
分析
仓库
DevOps
项目成员
Pages
S
Serving
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
105
Issue
105
列表
看板
标记
里程碑
合并请求
10
合并请求
10
Pages
分析
分析
仓库分析
DevOps
Wiki
2
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
353b481f
编写于
5月 18, 2021
作者:
T
TeslaZhao
提交者:
GitHub
5月 18, 2021
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Update PIPELINE_SERVING_CN.md
上级
a4ea3351
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
9 addition
and
6 deletion
+9
-6
doc/PIPELINE_SERVING_CN.md
doc/PIPELINE_SERVING_CN.md
+9
-6
未找到文件。
doc/PIPELINE_SERVING_CN.md
浏览文件 @
353b481f
...
@@ -64,9 +64,9 @@ Response中`err_no`和`err_msg`表达处理结果的正确性和错误信息,`
...
@@ -64,9 +64,9 @@ Response中`err_no`和`err_msg`表达处理结果的正确性和错误信息,`
-
Request 进入图执行引擎服务后会产生一个 Request Id,Reponse 会通过 Request Id 进行对应的返回
-
Request 进入图执行引擎服务后会产生一个 Request Id,Reponse 会通过 Request Id 进行对应的返回
-
对于 OP 之间需要传输过大数据的情况,可以考虑 RAM DB 外存进行全局存储,通过在 Channel 中传递索引的 Key 来进行数据传输
-
对于 OP 之间需要传输过大数据的情况,可以考虑 RAM DB 外存进行全局存储,通过在 Channel 中传递索引的 Key 来进行数据传输
<center>
<
div
align=
center
>
<img
src=
'pipeline_serving-image2.png'
height =
"300"
align=
"middle"
/>
<img
src=
'pipeline_serving-image2.png'
height =
"300"
align=
"middle"
/>
</
center
>
</
div
>
#### <b>1.2.1 OP的设计</b>
#### <b>1.2.1 OP的设计</b>
...
@@ -83,9 +83,9 @@ Response中`err_no`和`err_msg`表达处理结果的正确性和错误信息,`
...
@@ -83,9 +83,9 @@ Response中`err_no`和`err_msg`表达处理结果的正确性和错误信息,`
-
Channel 可以支持多个OP的输出存储在同一个 Channel,同一个 Channel 中的数据可以被多个 OP 使用
-
Channel 可以支持多个OP的输出存储在同一个 Channel,同一个 Channel 中的数据可以被多个 OP 使用
-
下图为图执行引擎中 Channel 的设计,采用 input buffer 和 output buffer 进行多 OP 输入或多 OP 输出的数据对齐,中间采用一个 Queue 进行缓冲
-
下图为图执行引擎中 Channel 的设计,采用 input buffer 和 output buffer 进行多 OP 输入或多 OP 输出的数据对齐,中间采用一个 Queue 进行缓冲
<center>
<
div
align=
center
>
<img
src=
'pipeline_serving-image3.png'
height =
"500"
align=
"middle"
/>
<img
src=
'pipeline_serving-image3.png'
height =
"500"
align=
"middle"
/>
</
center
>
</
div
>
#### <b>1.2.3 预测类型的设计</b>
#### <b>1.2.3 预测类型的设计</b>
...
@@ -317,6 +317,7 @@ class ResponseOp(Op):
...
@@ -317,6 +317,7 @@ class ResponseOp(Op):
## 3.典型示例
## 3.典型示例
所有Pipeline示例在
[
examples/pipeline/
](
../python/examples/pipeline
)
目录下,目前有7种类型模型示例:
所有Pipeline示例在
[
examples/pipeline/
](
../python/examples/pipeline
)
目录下,目前有7种类型模型示例:
-
[
PaddleClas
](
../python/examples/pipeline/PaddleClas
)
-
[
Detection
](
../python/examples/pipeline/PaddleDetection
)
-
[
Detection
](
../python/examples/pipeline/PaddleDetection
)
-
[
bert
](
../python/examples/pipeline/bert
)
-
[
bert
](
../python/examples/pipeline/bert
)
-
[
imagenet
](
../python/examples/pipeline/imagenet
)
-
[
imagenet
](
../python/examples/pipeline/imagenet
)
...
@@ -325,9 +326,10 @@ class ResponseOp(Op):
...
@@ -325,9 +326,10 @@ class ResponseOp(Op):
-
[
simple_web_service
](
../python/examples/pipeline/simple_web_service
)
-
[
simple_web_service
](
../python/examples/pipeline/simple_web_service
)
以 imdb_model_ensemble 为例来展示如何使用 Pipeline Serving,相关代码在
`python/examples/pipeline/imdb_model_ensemble`
文件夹下可以找到,例子中的 Server 端结构如下图所示:
以 imdb_model_ensemble 为例来展示如何使用 Pipeline Serving,相关代码在
`python/examples/pipeline/imdb_model_ensemble`
文件夹下可以找到,例子中的 Server 端结构如下图所示:
<center>
<div
align=
center
>
<img
src=
'pipeline_serving-image4.png'
height =
"200"
align=
"middle"
/>
<img
src=
'pipeline_serving-image4.png'
height =
"200"
align=
"middle"
/>
</
center
>
</
div
>
### 3.1 Pipeline部署需要的文件
### 3.1 Pipeline部署需要的文件
需要五类文件,其中模型文件、配置文件、服务端代码是构建Pipeline服务必备的三个文件。测试客户端和测试数据集为测试准备
需要五类文件,其中模型文件、配置文件、服务端代码是构建Pipeline服务必备的三个文件。测试客户端和测试数据集为测试准备
...
@@ -716,6 +718,7 @@ Pipeline中有2种id用以串联请求,分别时data_id和log_id,二者区
...
@@ -716,6 +718,7 @@ Pipeline中有2种id用以串联请求,分别时data_id和log_id,二者区
通常,Pipeline框架打印的日志会同时带上data_id和log_id。开启auto-batching后,会使用批量中的第一个data_id标记batch整体,同时框架会在一条日志中打印批量中所有data_id。
通常,Pipeline框架打印的日志会同时带上data_id和log_id。开启auto-batching后,会使用批量中的第一个data_id标记batch整体,同时框架会在一条日志中打印批量中所有data_id。
***
## 6.性能分析与优化
## 6.性能分析与优化
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录