Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
FluidDoc
提交
68e1e906
F
FluidDoc
项目概览
PaddlePaddle
/
FluidDoc
通知
5
Star
2
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
23
列表
看板
标记
里程碑
合并请求
111
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
F
FluidDoc
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
23
Issue
23
列表
看板
标记
里程碑
合并请求
111
合并请求
111
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
68e1e906
编写于
7月 29, 2019
作者:
D
Dong Daxiang
提交者:
GitHub
7月 29, 2019
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Update cluster_quick_start.rst
上级
560024f0
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
89 addition
and
92 deletion
+89
-92
doc/fluid/user_guides/howto/training/cluster_quick_start.rst
doc/fluid/user_guides/howto/training/cluster_quick_start.rst
+89
-92
未找到文件。
doc/fluid/user_guides/howto/training/cluster_quick_start.rst
浏览文件 @
68e1e906
.. _cluster_quick_start:
分布式训练快速开始
==================
使用Fleet API进行分布式训练
---------------------------
从Paddle Fluid 1.5.1 https://github.com/PaddlePaddle/Paddle/releases/tag/v1.5.1 开始,官方推荐使用Fleet API进行分布式训练,关于Fleet API的介绍可以参考 https://github.com/PaddlePaddle/Fleet。
从Paddle Fluid `Release
1.5.1 <https://github.com/PaddlePaddle/Paddle/releases/tag/v1.5.1>`__
开始,官方推荐使用Fleet API进行分布式训练,关于Fleet API的介绍可以参考
`Fleet Design Doc <https://github.com/PaddlePaddle/Fleet>`__
前置条件
成功安装Paddle Fluid
学会最基本的单机训练方法
~~~~~~~~
本文使用一个简单的示例,点击率预估任务,来说明如何使用Fleet API进行分布式训练的配置方法,并利用单机环境模拟分布式环境给出运行示例。
https://github.com/PaddlePaddle/Fleet/tree/develop/examples/ctr
- 成功安装Paddle Fluid
- 学会最基本的单机训练方法
本文使用一个简单的示例,点击率预估任务,来说明如何使用Fleet
API进行分布式训练的配置方法,并利用单机环境模拟分布式环境给出运行示例。示例的源码来自\ `CTR
with
Fleet <https://github.com/PaddlePaddle/Fleet/tree/develop/examples/ctr>`__
为了方便学习,这里给出的示例是单机与多机混合的代码,用户可以通过不同的启动命令进行单机或多机任务的启动。
.. code:: python
from __future__ import print_function
from args import parse_args
import os
import paddle.fluid as fluid
...
...
@@ -23,15 +33,12 @@ https://github.com/PaddlePaddle/Fleet/tree/develop/examples/ctr
import paddle.fluid.incubate.fleet.base.role_maker as role_maker
from paddle.fluid.incubate.fleet.parameter_server.distribute_transpiler import fleet
from paddle.fluid.transpiler.distribute_transpiler import DistributeTranspilerConfig
dense_feature_dim = 13
sparse_feature_dim = 10000001
batch_size = 100
thread_num = 10
embedding_size = 10
args = parse_args()
def main_function(is_local):
dense_input = fluid.layers.data(
name="dense_input", shape=[dense_feature_dim], dtype='float32')
...
...
@@ -39,7 +46,6 @@ https://github.com/PaddlePaddle/Fleet/tree/develop/examples/ctr
fluid.layers.data(name="C" + str(i), shape=[1], lod_level=1,
dtype="int64") for i in range(1, 27)]
label = fluid.layers.data(name="label", shape=[1], dtype="int64")
dataset = fluid.DatasetFactory().create_dataset()
dataset.set_use_var([dense_input] + sparse_input_ids + [label])
pipe_command = "python criteo_reader.py %d" % sparse_feature_dim
...
...
@@ -52,9 +58,7 @@ https://github.com/PaddlePaddle/Fleet/tree/develop/examples/ctr
loss, auc_var, batch_auc_var = ctr_dnn_model_dataset(
dense_input, sparse_input_ids, label, embedding_size,
sparse_feature_dim)
exe = fluid.Executor(fluid.CPUPlace())
def train_loop(epoch=20):
for i in range(epoch):
exe.train_from_dataset(program=fluid.default_main_program(),
...
...
@@ -62,14 +66,11 @@ https://github.com/PaddlePaddle/Fleet/tree/develop/examples/ctr
fetch_list=[auc_var],
fetch_info=["auc"],
debug=False)
def local_train(optimizer):
optimizer = fluid.optimizer.SGD(learning_rate=1e-4)
optimizer.minimize(loss)
exe.run(fluid.default_startup_program())
train_loop()
def dist_train(optimizer):
role = role_maker.PaddleCloudRoleMaker()
fleet.init(role)
...
...
@@ -85,30 +86,26 @@ https://github.com/PaddlePaddle/Fleet/tree/develop/examples/ctr
fleet.init_worker()
exe.run(fluid.default_startup_program())
train_loop()
if is_local:
local_train(optimizer)
else:
dist_train(optimizer)
if __name__ == '__main__':
main_function(args.is_local)
单机训练启动命令
.. code:: python
python train.py --is_local 1
在单机模拟多机训练的启动命令,这里我们用到了paddle内置的一个启动器launch_ps,用户可以指定worker和server的数量进行参数服务器任务的启动
在单机模拟多机训练的启动命令,这里我们用到了paddle内置的一个启动器launch\_ps,用户可以指定worker和server的数量进行参数服务器任务的启动
.. code:: python
python -m paddle.distributed.launch_ps --worker_num 2 --server_num 2 train.py
运行日志
如何进行多机分布式训练
请参考百度云运行分布式任务的示例
任务运行的日志在工作目录的logs目录下可以查看,当您能够使用单机模拟分布式训练,可以进行真正的多机分布式训练。我们建议用户直接参\ `百度云运行分布式任务的示例 <https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/user_guides/howto/training/deploy_ctr_on_baidu_cloud_cn.html>`__
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录