Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
Serving
提交
378222d4
S
Serving
项目概览
PaddlePaddle
/
Serving
12 个月 前同步成功
通知
183
Star
833
Fork
253
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
105
列表
看板
标记
里程碑
合并请求
10
Wiki
2
Wiki
分析
仓库
DevOps
项目成员
Pages
S
Serving
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
105
Issue
105
列表
看板
标记
里程碑
合并请求
10
合并请求
10
Pages
分析
分析
仓库分析
DevOps
Wiki
2
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
378222d4
编写于
2月 06, 2020
作者:
D
Dong Daxiang
提交者:
GitHub
2月 06, 2020
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Update DESIGN.md
上级
3d8266d7
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
5 addition
and
22 deletion
+5
-22
doc/DESIGN.md
doc/DESIGN.md
+5
-22
未找到文件。
doc/DESIGN.md
浏览文件 @
378222d4
...
...
@@ -42,33 +42,16 @@ Client Python API当前有两个简单的功能,load_inference_conf和predict
Server Python API主要负责加载预估模型,以及生成Paddle Serving需要的各种配置,包括engines,workflow,resource等
### 3.4 Server Inferface
<p
align=
"center"
>
<img
align=
"center"
src=
"server_interface.png"
height=
"250px"
width=
"510px"
>
</p>
<p
align=
"center"
>
Server Interface
</p>
### 3.5 Client Interface
![
Server Interface
](
server_interface.png
)
### 3.5 Client Interface
RPC通信协议:
Tensor可以兼容LodTensor(level=1)和n-d Tensor
Tensor中的elem_type表示当前Tensor的数值类型,elem_type=0为int64,elem_type=1为float
Tensor中的shape表示当前Tensor的形状,shape.size() >= 1,shape[0]=-1则表示当前Tensor为lod_level=1的LodTensor,否则表示n-d Tensor的实际shape
FeedInst和FetchInst由若干Tensor组成,代表单条样本的多个输入或输出Variable
Request和Response中包含若干FeedInst、FetchInst支持批量预测
Server端支持通用模型加载的设计:
定义engine,workflow,resource,这部分会通过Server Python API自动生成,主要的变量就是model_data_path,需要加载当前实际需要预测的模型路径,对于workflow,由于当前Paddle Serving的设计可以服用已有workflow,因此可以不做自动生成
![
Client Interface
](
client_interface.png
)
Client端支持通用模型加载的设计:
Client Python API加载模型需要加载一个训练过程中保存的模型配置,即inference model conf,包含用户预测过程中输入数据的具体Variable的信息
单个client可以连接多个server,在客户端可做负载均衡,数据并行预测
预测过程使用的reader,可以复用训练过程中的reader实现
### 3.6 训练过程中使用的Client io
PaddleServing设计可以
## 4. Paddle Serving底层框架
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录