Created by: Ashleychen

我在GPU多卡下的模型预测结果有问题。 我在模型训练的时候每隔n个batch会用测试数据评估一下，假设这个时候模型的预测值为A； 然后在模型训练完成之后我想重新加载模型再次用同样的测试数据评估，然后这个时候模型的预测值为B； 但是我发现 GPU单卡的情况下B==A；GPU多卡的情况下B！=A。 而且很奇怪的是，多卡的情况下，一个batch里面前半部分的预测结果是对的，而后半部分的预测结果是错的。