Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
Serving
提交
66e24533
S
Serving
项目概览
PaddlePaddle
/
Serving
大约 1 年 前同步成功
通知
186
Star
833
Fork
253
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
105
列表
看板
标记
里程碑
合并请求
10
Wiki
2
Wiki
分析
仓库
DevOps
项目成员
Pages
S
Serving
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
105
Issue
105
列表
看板
标记
里程碑
合并请求
10
合并请求
10
Pages
分析
分析
仓库分析
DevOps
Wiki
2
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
66e24533
编写于
10月 08, 2019
作者:
J
Jiawei Wang
提交者:
GitHub
10月 08, 2019
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Update ELASTIC_CTR.md
上级
f9a14d67
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
16 addition
and
22 deletion
+16
-22
doc/ELASTIC_CTR.md
doc/ELASTIC_CTR.md
+16
-22
未找到文件。
doc/ELASTIC_CTR.md
浏览文件 @
66e24533
百度云分布式训练CTR
===================
1.
总体概览
-----------
# 1. 总体概览
![
image
](
elastic_ctr/overview.png
)
...
...
@@ -22,8 +21,7 @@
-
通过指定Cube参数服务器的分片数量和副本数量。
-
指定Serving的模型信息
2.
创建集群
-----------
# 2. 创建集群
具体请参考
[
帮助文档
](
https://cloud.baidu.com/doc/CCE/GettingStarted/24.5C.E5.88.9B.E5.BB.BA.E9.9B.86.E7.BE.A4.html#.E6.93.8D.E4.BD.9C.E6.AD.A5.E9.AA.A4
)
...
...
@@ -41,8 +39,7 @@
[
集群信息
](
https://cloud.baidu.com/doc/CCE/GettingStarted.html#.E6.9F.A5.E7.9C.8B.E9.9B.86.E7.BE.A4
)
。
3.
操作集群
-----------
# 3. 操作集群
集群的操作可以通过百度云web或者通过kubectl工具进行,推荐用
[
kubectl工具
](
https://kubernetes.io/docs/tasks/tools/install-kubectl/
)
...
...
@@ -74,10 +71,9 @@ mv kubectl.conf ~/.kube/config
kubectl get node
```
4.
部署任务
-----------
# 4. 部署任务
##
#
安装Volcano
## 安装Volcano
执行
...
...
@@ -87,7 +83,7 @@ kubectl apply -f https://raw.githubusercontent.com/volcano-sh/volcano/master/ins
![
image
](
elastic_ctr/ctr_volcano_install.png
)
##
#
一键完成部署
## 一键完成部署
执行
...
...
@@ -101,7 +97,7 @@ bash paddle-suite.sh
[
这里
](
https://github.com/PaddlePaddle/edl/tree/develop/example/ctr/script
)
获取。
选择一个node作为输出节点 ::::::::::::
#### 选择一个node作为输出节点
```
{.sourceCode .bash}
kubectl label nodes $NODE_NAME nodeType=model
...
...
@@ -122,7 +118,7 @@ kubectl apply -f fileserver.yaml
![
image
](
elastic_ctr/file_server_svc.png
)
启动Cube稀疏参数服务器 ::::::::::
#### 启动Cube稀疏参数服务器
```
{.sourceCode .bash}
kubectl apply -f cube.yaml
...
...
@@ -133,7 +129,7 @@ svc中发现了相关的服务,则说明cube server/agent启动成功。
![
image
](
elastic_ctr/cube.png
)
启动Paddle Serving ::::::::::
#### 启动Paddle Serving
```
{.sourceCode .bash}
kubectl apply -f paddleserving.yaml
...
...
@@ -146,7 +142,7 @@ svc中发现了相关的服务,则说明paddle serving启动成功。
![
image
](
elastic_ctr/paddleserving_svc.png
)
启动Cube稀疏参数服务器配送工具 ::::::::::::
#### 启动Cube稀疏参数服务器配送工具
```
{.sourceCode .bash}
kubectl apply -f transfer.yaml
...
...
@@ -160,7 +156,7 @@ Serving来进行稀疏参数查询。如果出现最后wait 5
min这样的字样,说明上一轮的模型已经配送成功了,接下来就可以做最后Paddle
Serving的测试了。
执行 Paddle CTR 分布式训练 :::::::::::::
#### 执行 Paddle CTR 分布式训练
```
{.sourceCode .bash}
kubectl apply -f ctr.yaml
...
...
@@ -172,8 +168,7 @@ edl-demo-trainer-0来查看训练的进度,如果pass
![
image
](
elastic_ctr/ctr.png
)
5.
查看结果
-----------
# 5. 查看结果
### 查看训练日志
...
...
@@ -189,7 +184,7 @@ pserver日志示例:
![
image
](
elastic_ctr/ctr_pserver_log.png
)
验证Paddle Serving预测结果
\>\>\>\>\>\>\>\>\>\>\>\>
### 验证Paddle Serving预测结果
执行
...
...
@@ -207,10 +202,9 @@ bin/ctr_prediction
![
image
](
elastic_ctr/paddleclient.png
)
6.
二次开发指南
---------------
# 6. 二次开发指南
指定数据集的输入和读取方式
\>\>\>\>\>\>\>\>\>\>\>\>
### 指定数据集的输入和读取方式
现有的数据的输入是从edldemo镜像当中的/workspace/ctr/data/download.sh目录进行下载。下载之后会解压在/workspace/ctr/data/raw文件夹当中,包含train.txt和test.txt。所有的数据的每一行通过空格隔开40个属性。
...
...
@@ -258,7 +252,7 @@ docker build -t ${DOCKER_IMAGE_NAME} .
如上图所示
指定cube参数服务器的分片数量和副本数量
\>\>\>\>\>\>\>\>\>\>\>\>
### 指定cube参数服务器的分片数量和副本数量
在cube.yaml文件当中,我们可以看到每一个cube的节点的定义,有一个cube
server pod和cube server
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录