提交 6ecd6327 编写于 作者: D DuYao 提交者: hong

update polynomialDecay Chinese document (#1320)

* update polynomialDecay, test=develop

* update, test=develop

* update, test=document_fix

* update poly, test=document_fix

* update, test=document_fix

* update, test=document_fix

* update, test=develop
上级 9ddf3310
......@@ -5,31 +5,41 @@ PolynomialDecay
.. py:class:: paddle.fluid.dygraph.PolynomialDecay(learning_rate, decay_steps, end_learning_rate=0.0001, power=1.0, cycle=False, begin=0, step=1, dtype='float32')
为初始学习率应用多项式衰减
该接口提供学习率按多项式衰减的功能。通过多项式衰减函数,使得学习率值逐步从初始的 ``learning_rate``,衰减到 ``end_learning_rate``
计算方式如下。
.. code-block:: text
若cycle为True,则计算公式为:
if cycle:
decay_steps = decay_steps * ceil(global_step / decay_steps)
else:
global_step = min(global_step, decay_steps)
decayed_learning_rate = (learning_rate - end_learning_rate) *
(1 - global_step / decay_steps) ^ power + end_learning_rate
.. math::
decay\_steps &= decay\_steps * math.ceil(\frac{global\_step}{decay\_steps}) \\
decayed\_learning\_rate &= (learning\_rate-end\_learning\_rate)*(1-\frac{global\_step}{decay\_steps})^{power}+end\_learning\_rate
若cycle为False,则计算公式为:
.. math::
global\_step &= min(global\_step, decay\_steps) \\
decayed\_learning\_rate &= (learning\_rate-end\_learning\_rate)*(1-\frac{global\_step}{decay\_steps})^{power}+end\_learning\_rate
式中,
- :math:`decayed\_learning\_rate` : 衰减后的学习率。
式子中各参数详细介绍请看参数说明。
参数:
- **learning_rate** (Variable|float32)-标量float32值或变量。是训练过程中的初始学习率
- **decay_steps** (int32)-Python int32数
- **end_learning_rate** (float)-Python float数
- **power** (float)-Python float数
- **cycle** (bool)-若设为true,每decay_steps衰减学习率
- **begin** (int) – 起始步(默认为0)
- **step** (int) – 步大小(默认为1)
- **dtype** (str)– 初始化学习率变量的dtype(默认为‘float32’)
返回:衰减的学习率
返回类型:变量(Variable)
- **learning_rate** (Variable|float32) - 初始学习率。如果类型为Variable,则为shape为[1]的Tensor,数据类型为float32或float64;也可以是python的float类型。
- **decay_steps** (int) - 衰减步数。必须是正整数,该参数确定衰减周期。
- **end_learning_rate** (float,可选) - 最小的最终学习率。默认值为0.0001。
- **power** (float,可选) - 多项式的幂。默认值为1.0。
- **cycle** (bool,可选) - 学习率下降后是否重新上升。若为True,则学习率衰减到最低学习率值时,会出现上升。若为False,则学习率曲线则单调递减。默认值为False。
- **begin** (int,可选) – 起始步,即以上运算式子中global_step的初始化值。默认值为0。
- **step** (int,可选) – 步大小,即以上运算式子中global_step的递增值。默认值为1。
- **dtype** (str,可选)– 初始化学习率变量的数据类型,可以为"float32", "float64"。默认值为"float32"。
返回: 无
**代码示例**
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册