Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
机器未来
Paddle
提交
a66543a6
P
Paddle
项目概览
机器未来
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
1
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
1
Issue
1
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
a66543a6
编写于
3月 06, 2018
作者:
F
fengjiayi
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
follow comments
上级
92dfdf69
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
4 addition
and
4 deletion
+4
-4
doc/howto/cluster/index_cn.rst
doc/howto/cluster/index_cn.rst
+4
-4
未找到文件。
doc/howto/cluster/index_cn.rst
浏览文件 @
a66543a6
分布式训练
分布式训练
==========
==========
深度学习模型的效果好坏与数据量的大小往往有直接的关系
,相同的模型,在增大训练数据集后一般都能取得更好的效果。但是当数据量增大到一定程度后,单台计算机已经难以承受,这时,使用对
台计算机进行分布式训练就是一个很自然的解决方案。在分布式训练中,训练数据被分割为多份,参与训练的多台机器分别读取自己的数据进行训练,并协同对整体模型的参数进行更新。
深度学习模型的效果好坏与数据量的大小往往有直接的关系
:相同的模型,在增大训练数据集后一般都能取得更好的效果。但是当数据量增大到一定程度后,单台计算机已经难以承受。这时,使用多
台计算机进行分布式训练就是一个很自然的解决方案。在分布式训练中,训练数据被分割为多份,参与训练的多台机器分别读取自己的数据进行训练,并协同对整体模型的参数进行更新。
分布式训练一般有着如下图所示的架构:
分布式训练一般有着如下图所示的架构:
...
@@ -12,9 +12,9 @@
...
@@ -12,9 +12,9 @@
- 计算节点(Trainer): 每个trainer启动后读取切分好的一部分数据,开始神经网络的“前馈”和“后馈”计算,并和参数服务器通信。在完成一定量数据的训练后,上传计算得出的梯度(gradients),然后下载优化更新后的神经网络参数(parameters)。
- 计算节点(Trainer): 每个trainer启动后读取切分好的一部分数据,开始神经网络的“前馈”和“后馈”计算,并和参数服务器通信。在完成一定量数据的训练后,上传计算得出的梯度(gradients),然后下载优化更新后的神经网络参数(parameters)。
- 参数服务器(Parameter server):每个参数服务器只保存整个神经网络所有参数的一部分。参数服务器接收从计算节点上传的梯度,并完成参数优化更新,再将更新后的参数下发到每个计算节点。
- 参数服务器(Parameter server):每个参数服务器只保存整个神经网络所有参数的一部分。参数服务器接收从计算节点上传的梯度,并完成参数优化更新,再将更新后的参数下发到每个计算节点。
通过计算节点和参数服务器的分布式协作,可以完成神经网络的
SGD方法的训练。PaddlePaddle可以同时支持同步随机梯度下降(SGD)和异步随机梯度下降
。
通过计算节点和参数服务器的分布式协作,可以完成神经网络的
同步随机梯度下降(SGD)方法的训练。PaddlePaddle同时支持同步随机梯度下降(SGD)和异步随机梯度下降(ASGD)
。
在开始集群训练之前,需要先进行
机器配置、集群
PaddlePaddle安装等准备工作,了解如何通过这些步骤来配置分布式训练所需的基本环境:
在开始集群训练之前,需要先进行
集群配置、
PaddlePaddle安装等准备工作,了解如何通过这些步骤来配置分布式训练所需的基本环境:
.. toctree::
.. toctree::
:maxdepth: 1
:maxdepth: 1
...
@@ -28,7 +28,7 @@
...
@@ -28,7 +28,7 @@
cmd_argument_cn.md
cmd_argument_cn.md
PaddlePaddle可以兼容各种不同的集群。每种集群各有优势,使用的具体方式也
略
有区别:
PaddlePaddle可以兼容各种不同的集群。每种集群各有优势,使用的具体方式也有区别:
.. toctree::
.. toctree::
:maxdepth: 1
:maxdepth: 1
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录