Multiple GPUS: low performance and scalability
Created by: Sampson1107
你好, 我用的模型是:https://github.com/PaddlePaddle/models/tree/develop/image_classification 我在该模型下:测试了如下三个模型:Alexnet\Googlenet\Resnet,但是单卡的绝对性能比较差,而且弱扩展性也不好。具体数据如下(images/s): GPU 1 2 4 alexnet 638 851 1082 googlenet 277 441 662 resnet 75 134 241
是否是因为cudnn没有调用过的问题导致? 我在alexnet.py中加入了layer_type='cudnn_conv'性能没有什么变化。 是否还有其他地方需要修改呢? 表格如下:其中分别表示GPU卡数在1、2、4时,网络模型每秒训练的图片数目,我用的卡是Tesla P40, alexnet每个卡我用的batch_size是1024,googlenet设置的batch_size为每个卡128,resnet是32
GPU | 1 | 2 | 4 |
---|---|---|---|
alexnet | 638 | 851 | 1082 |
googlenet | 277 | 441 | 662 |
resnet | 75 | 134 | 241 |