Fork自 PaddlePaddle / Paddle
[cherry-pick] #22484 支持不依赖nccl进行编译。 多卡下,如果没有打开WITH_NCCL开关编译,则只能使用单卡
* add var grad hook test=develop
implement dygraph.parallel.DataParallel to hook reduce op.