多卡训练中关闭batch drop_last无效
Created by: ziyuli
- 版本、环境信息 1)PaddlePaddle版本:1.5.2 2)CPU:N/A 3)GPU:8 x TitanX (pascal) CUDA 9.2.88, CUDNN 7.1.4 4)系统环境:Ubuntu 18.04.2 Python 3.6.7
- 训练信息 1)单机,多卡 2)显存信息: 每张卡12GB
使用PaddleCV中的resnet50在单机8卡上训练图形分类 ,并尝试将batch drop_last关闭。更改代码如下 train_reader = paddle.batch(train_reader, batch_size=int(args.batch_size / fluid.core.get_cuda_device_count()), drop_last=False)
但实际训练中依旧丢掉了最后一个batch。
在多卡训练下,如果dataset的大小不是batch size的整数倍,是否有其他的办法不drop last ?