该OP使用学习率优化策略-线性学习率热身(warm up)对学习率进行初步调整。在正常调整学习率之前,先逐步增大学习率,具体原理可参考: `Bag of Tricks for Image Classification with Convolutional Neural Networks <https://arxiv.org/abs/1812.01187>`_
该OP实现了局部响应正则化层(Local Response Normalization Layer),用于对局部输入区域正则化,执行一种侧向抑制(lateral inhibition)。更多详情参考: `ImageNet Classification with Deep Convolutional Neural Networks <https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf>`_
公式如下:
其中 ``input`` 是mini-batch的输入特征。计算过程如下:
.. math::
...
...
@@ -17,24 +16,23 @@ lrn
在以上公式中:
- :math:`n` :累加的通道数
- :math:`k` :位移(避免除数为0)
- :math:`k` :位移
- :math:`\alpha` : 缩放参数
- :math:`\beta` : 指数参数
参考 : `ImageNet Classification with Deep Convolutional Neural Networks <https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf>`_