如何实现网络中不同层可以动态地设置不同的学习率？
Created by: haozhe-an
我们想将pytorch的实现转化为paddle。想要实现的效果是在训练过程中，网络（ResNet-50）的FC层和之前的卷积层分开设置不同的学习率，并且用cosine annealing的schedule动态调节。相关pytorch的代码如下
其中133行和134行所用的optimizer的信息如下：
请问paddle中有哪个方法可以实现这个目标？谢谢！
环境信息： paddlepaddle-gpu 1.8.1.post107 cudnn 7.6.5 python 3.7.5
Driver Version: 440.44
CUDA Version: 10.2