Created by: kexinzhao

https://discuss.pytorch.org/t/what-does-torch-backends-cudnn-benchmark-do/5936/2

PyTorch中提供下面的flag来调用cudnn auto-tuner来根据当前输入选定最优算法。 torch.backends.cudnn.benchmark = True

这个在我的模型实际测试中，带来了高于2倍的模型训练加速 (相比于default=False的情况)。

我想问一下, Fluid (dygraph) 中提供类似的功能吗？