Created by: zhangting2020
为AMP训练增了了fuse_bn_add_act op,目前通过python接口使用这个fuse op,因此对应修改了模型:增加add fuse_bn_add_act_ops args,默认关闭。
性能收益: V100, CUDA 10.1, cuDNN 7.6, single card, BS=128
- before:1015.18 imgs/s
- after:1085.98 imgs/s,+6.9%
Created by: zhangting2020
为AMP训练增了了fuse_bn_add_act op,目前通过python接口使用这个fuse op,因此对应修改了模型:增加add fuse_bn_add_act_ops args,默认关闭。
性能收益: V100, CUDA 10.1, cuDNN 7.6, single card, BS=128