Created by: AstomMars

直接在train的时候开启fp16之后，数据会一直读取但是并不开始训练过程。如果关闭fp16 util里的reduce_master_grad的话，也就是不运行fluid.layers.collective._allreduce的话，可以正常训练。请问这个all reduce的作用是什么，在文档里没有找到。