提交 7b945764 编写于 作者: T typhoonzero

WIP add dist train howto

上级 b3617531
# Fluid分布式训练手册
## 分布式训练基本思想
分布式深度学习训练通常分为两种并行化方法:数据并行,模型并行,参考下图:
<img src="parallelism.png">
在模型并行方式下,模型的层和参数将被分布在多个节点上,模型在一个mini-batch的前向和反向训练中,将经过多次跨
节点之间的通信。每个节点只保存整个模型的一部分;在数据并行方式下,每个节点保存有完整的模型的层和参数,每个节点
独自完成前向和反向计算,然后完成梯度的聚合并同步的更新所有节点上的参数。Fluid目前版本仅提供数据并行方式,另外
诸如模型并行的特例实现(超大稀疏模型训练)功能将在后续的文档中予以说明。
在数据并行模式的训练中,Fluid使用了两种通信模式,用于应对不同训练任务对分布式训练的要求,分别为RPC通信和Collective
通信。其中RPC通信方式使用[gRPC](https://github.com/grpc/grpc/),Collective通信方式使用
[NCCL2](https://developer.nvidia.com/nccl)。下面是一个RPC通信和Collective通信的横向对比:
| Feature | Collective | RPC |
| ------------- |:-------------:| -----:|
| Ring-Based Comm | Yes | No |
| Async Training | Reduce ranks | Fast, Direct async updates |
| Dist-Sparse-Table | No | Yes |
| Fault-Tolerant | No | Yes|
| Performance | Faster | Fast |
* RPC通信方式的结构:
<img src="">
* NCCL2通信方式的结构:
<img src="">
## 使用parameter server方式的训练
## 使用NCCL2通信方式的训练
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册