Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
Serving
提交
101c5155
S
Serving
项目概览
PaddlePaddle
/
Serving
1 年多 前同步成功
通知
186
Star
833
Fork
253
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
105
列表
看板
标记
里程碑
合并请求
10
Wiki
2
Wiki
分析
仓库
DevOps
项目成员
Pages
S
Serving
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
105
Issue
105
列表
看板
标记
里程碑
合并请求
10
合并请求
10
Pages
分析
分析
仓库分析
DevOps
Wiki
2
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
101c5155
编写于
3月 06, 2019
作者:
W
wangguibao
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Documentation
Change-Id: Ifec6912ed111723bf6f3488875e5ec593526f6fd
上级
5d9fff04
变更
5
隐藏空白更改
内联
并排
Showing
5 changed file
with
12 addition
and
9 deletion
+12
-9
CONTRIBUTING.md
CONTRIBUTING.md
+4
-1
doc/CLIENT_CONFIGURE.md
doc/CLIENT_CONFIGURE.md
+2
-2
doc/DESIGN.md
doc/DESIGN.md
+2
-2
doc/GETTING_STARTED.md
doc/GETTING_STARTED.md
+2
-2
doc/INSTALL.md
doc/INSTALL.md
+2
-2
未找到文件。
CONTRIBUTING.md
浏览文件 @
101c5155
...
...
@@ -143,9 +143,12 @@ LOG(INFO) << "Operator FC is taking " << num_inputs << "inputs."
When we run a Paddle Serving application or test, we can specify a logging level. For example:
```
bash
GLOG_minloglevel
=
0
GLOG_maxloglevel
=
3
bin/serving
GLOG_minloglevel
=
1
bin/serving
```
0 - INFO
1 - WARNING
2 -ERROR
3 - FATAL (Be careful as FATAL log will generate a coredump)
doc/CLIENT_CONFIGURE.md
浏览文件 @
101c5155
# Client side configuration
Paddle
-s
erving C++ client SDK主配置文件为conf/predictors.prototxt。其中一个示例如下:
Paddle
S
erving C++ client SDK主配置文件为conf/predictors.prototxt。其中一个示例如下:
## 1. Sample conf
...
...
@@ -68,7 +68,7 @@ predictors {
## 2. 名词解释
-
预测服务 (Predictor):对一个Paddle预测服务的封装
-
端点(Endpoit):对一个预测需求的逻辑抽象,通常包含一到多个服务变体,以方便多版本模型管理;
-
变体(Variant):一套同质化的Paddle
-serving集群服务,每个实例起一个Paddle-s
erving进程;
-
变体(Variant):一套同质化的Paddle
Serving集群服务,每个实例起一个Paddle S
erving进程;
## 3. 配置项解释
...
...
doc/DESIGN.md
浏览文件 @
101c5155
...
...
@@ -2,7 +2,7 @@
## 1. 项目背景
PaddlePaddle是公司开源的机器学习框架,广泛支持各种深度学习模型的定制化开发; Paddle serving是Paddle的在线预测部分,与Paddle模型训练环节无缝衔接,提供机器学习预测云服务。本文将从模型、服务、接入等层面,自底向上描述Paddle
-s
erving设计方案。
PaddlePaddle是公司开源的机器学习框架,广泛支持各种深度学习模型的定制化开发; Paddle serving是Paddle的在线预测部分,与Paddle模型训练环节无缝衔接,提供机器学习预测云服务。本文将从模型、服务、接入等层面,自底向上描述Paddle
S
erving设计方案。
1.
模型是Paddle Serving预测的核心,包括模型数据和推理计算的管理;
2.
预测框架封装模型推理计算,对外提供RPC接口,对接不同上游;
...
...
@@ -13,7 +13,7 @@ PaddlePaddle是公司开源的机器学习框架,广泛支持各种深度学
## 2. 名词解释
-
baidu-rpc 百度官方开源RPC框架,支持多种常见通信协议,提供基于protobuf的自定义接口体验
-
Variant Paddle
-s
erving架构对一个最小预测集群的抽象,其特点是内部所有实例(副本)完全同质,逻辑上对应一个model的一个固定版本
-
Variant Paddle
S
erving架构对一个最小预测集群的抽象,其特点是内部所有实例(副本)完全同质,逻辑上对应一个model的一个固定版本
-
Endpoint 多个Variant组成一个Endpoint,逻辑上看,Endpoint代表一个model,Endpoint内部的Variant代表不同的版本
-
OP PaddlePaddle用来封装一种数值计算的算子,Paddle Serving用来表示一种基础的业务操作算子,核心接口是inference。OP通过配置其依赖的上游OP,将多个OP串联成一个workflow
-
Channel 一个OP所有请求级中间数据的抽象;OP之间通过Channel进行数据交互
...
...
doc/GETTING_STARTED.md
浏览文件 @
101c5155
...
...
@@ -8,7 +8,7 @@
Step1:启动Server端:
```
shell
cd
paddle-serving/output/demo/serving/
&&
./bin/serving &
cd
/path/to/
paddle-serving/output/demo/serving/
&&
./bin/serving &
```
默认启动后日志写在./log/下,可tail日志查看serving端接收请求的日志:
...
...
@@ -18,7 +18,7 @@ tail -f log/serving.INFO
Step2:启动Client端:
```
shell
cd
paddle-serving/output/demo/client/image_class
&&
./bin/ximage &
cd
pa
th/to/pa
ddle-serving/output/demo/client/image_class
&&
./bin/ximage &
```
默认启动后日志写在./log/下,可tail日志查看分类结果:
...
...
doc/INSTALL.md
浏览文件 @
101c5155
...
...
@@ -23,7 +23,7 @@ $ make install
```
.
|-- bin # Paddle
-s
erving protobuf编译插件pdcodegen所在目录
|-- bin # Paddle
S
erving protobuf编译插件pdcodegen所在目录
|-- demo # demo总目录
| |-- client
| | |-- dense_format # dense_format客户端
...
...
@@ -51,7 +51,7 @@ $ make install
| | `-- paddle
| | `-- fluid
| | `-- SE_ResNeXt50_32x4d # image_classification模型
`-- lib # Paddle
-s
erving产出的静态库文件: libpdseving.a, libsdk-cpp.a, libconfigure.a, libfluid_cpu_engine.a
`-- lib # Paddle
S
erving产出的静态库文件: libpdseving.a, libsdk-cpp.a, libconfigure.a, libfluid_cpu_engine.a
```
如要编写新的预测服务,请参考
[
从零开始写一个预测服务
](
CREATING.md
)
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录