paddle网络通信机制
Created by: yinyunfeng
-
同步sgd时，parameter server会等待拿到所有gradient server的参数后再聚合梯度计算新参数？ 而后同时去更新所有gradient server的参数吗？
-
这个图里标红的两条线，是否应该上线顺序调整一下，parameter server 接收到所有gradient server梯度后再更新参数？
- 同步sgd时，parameter server之间不需要通信。
- 异步sgd时，parameter server收到一个gradient server的梯度后就更新参数而不是收到所有gradient server的梯度后才更新对吗？parameter server 更新完参数后会分发给所有gradient server吗？ gradient server 提交梯度后会阻塞等待吗？