提交 9ddf3310 编写于 作者: D DuYao 提交者: hong

update natural exponential decay Chinese document (#1324)

* update natural exponential decay, test=develop

* update, test=develop

* update, test=document_fix

* update, test=document_fix

* update, test=document_fix

* update, test=document_fix

* update, test=document_fix

* update, test=document_fix
上级 6171e23c
......@@ -5,24 +5,41 @@ NaturalExpDecay
.. py:class:: paddle.fluid.dygraph.NaturalExpDecay(learning_rate, decay_steps, decay_rate, staircase=False, begin=0, step=1, dtype='float32')
为初始学习率应用指数衰减策略
该接口提供按自然指数衰减学习率的功能
.. code-block:: text
自然指数衰减的计算方式如下。
if not staircase:
decayed_learning_rate = learning_rate * exp(- decay_rate * (global_step / decay_steps))
else:
decayed_learning_rate = learning_rate * exp(- decay_rate * (global_step / decay_steps))
.. math::
参数:
- **learning_rate** (Variable|float)- 类型为float32的标量值或为一个Variable。它是训练的初始学习率。
- **decay_steps** (int)-一个Python int32 数。
- **decay_rate** (float)- 一个Python float数。
- **staircase** (Boolean)-布尔型。若为True,每隔decay_steps衰减学习率。
- **begin** – Python ‘int32’ 数,起始步(默认为0)。
- **step** – Python ‘int32’ 数, 步大小(默认为1)。
- **dtype** – Python ‘str’ 类型, 初始化学习率变量的dtype(默认为‘float32’)。
decayed\_learning\_rate = learning\_rate * e^{y}
当staircase为False时,y对应的计算公式为:
.. math::
y = - decay\_rate * \frac{global\_step}{decay\_steps}
当staircase为True时,y对应的计算公式为:
.. math::
y = - decay\_rate * math.floor(\frac{global\_step}{decay\_steps})
式中,
- :math:`decayed\_learning\_rate` : 衰减后的学习率。
式子中各参数详细介绍请看参数说明。
参数:
- **learning_rate** (Variable|float) - 初始学习率值。如果类型为Variable,则为shape为[1]的Tensor,数据类型为float32或float64;也可以是python的float类型。
- **decay_steps** (int) – 指定衰减的步长。该参数确定衰减的周期。
- **decay_rate** (float) – 指定衰减率。
- **staircase** (bool,可选) - 若为True, 学习率变化曲线呈阶梯状,若为False,学习率变化值曲线为平滑的曲线。默认值为False。
- **begin** (int,可选) – 起始步,即以上运算式子中global_step的初始化值。默认值为0。
- **step** (int,可选) – 步大小,即以上运算式子中global_step的每次的增量值。默认值为1。
- **dtype** – (str,可选) 初始化学习率变量的数据类型,可以为"float32", "float64"。默认值为"float32"。
返回: 无
**代码示例**
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册