From 6ecd6327ecaadd5c766d376dc95296a983ba44c3 Mon Sep 17 00:00:00 2001 From: DuYao Date: Fri, 11 Oct 2019 17:08:23 +0800 Subject: [PATCH] update polynomialDecay Chinese document (#1320) * update polynomialDecay, test=develop * update, test=develop * update, test=document_fix * update poly, test=document_fix * update, test=document_fix * update, test=document_fix * update, test=develop --- .../api_cn/dygraph_cn/PolynomialDecay_cn.rst | 50 +++++++++++-------- 1 file changed, 30 insertions(+), 20 deletions(-) diff --git a/doc/fluid/api_cn/dygraph_cn/PolynomialDecay_cn.rst b/doc/fluid/api_cn/dygraph_cn/PolynomialDecay_cn.rst index 9048930ce..af8337670 100644 --- a/doc/fluid/api_cn/dygraph_cn/PolynomialDecay_cn.rst +++ b/doc/fluid/api_cn/dygraph_cn/PolynomialDecay_cn.rst @@ -5,31 +5,41 @@ PolynomialDecay .. py:class:: paddle.fluid.dygraph.PolynomialDecay(learning_rate, decay_steps, end_learning_rate=0.0001, power=1.0, cycle=False, begin=0, step=1, dtype='float32') -为初始学习率应用多项式衰减。 +该接口提供学习率按多项式衰减的功能。通过多项式衰减函数,使得学习率值逐步从初始的 ``learning_rate``,衰减到 ``end_learning_rate`` 。 +计算方式如下。 -.. code-block:: text +若cycle为True,则计算公式为: - if cycle: - decay_steps = decay_steps * ceil(global_step / decay_steps) - else: - global_step = min(global_step, decay_steps) - decayed_learning_rate = (learning_rate - end_learning_rate) * - (1 - global_step / decay_steps) ^ power + end_learning_rate +.. math:: + + decay\_steps &= decay\_steps * math.ceil(\frac{global\_step}{decay\_steps}) \\ + decayed\_learning\_rate &= (learning\_rate-end\_learning\_rate)*(1-\frac{global\_step}{decay\_steps})^{power}+end\_learning\_rate + +若cycle为False,则计算公式为: + +.. math:: + + global\_step &= min(global\_step, decay\_steps) \\ + decayed\_learning\_rate &= (learning\_rate-end\_learning\_rate)*(1-\frac{global\_step}{decay\_steps})^{power}+end\_learning\_rate + +式中, + +- :math:`decayed\_learning\_rate` : 衰减后的学习率。 +式子中各参数详细介绍请看参数说明。 参数: - - **learning_rate** (Variable|float32)-标量float32值或变量。是训练过程中的初始学习率 - - **decay_steps** (int32)-Python int32数 - - **end_learning_rate** (float)-Python float数 - - **power** (float)-Python float数 - - **cycle** (bool)-若设为true,每decay_steps衰减学习率 - - **begin** (int) – 起始步(默认为0) - - **step** (int) – 步大小(默认为1) - - **dtype** (str)– 初始化学习率变量的dtype(默认为‘float32’) - -返回:衰减的学习率 - -返回类型:变量(Variable) + - **learning_rate** (Variable|float32) - 初始学习率。如果类型为Variable,则为shape为[1]的Tensor,数据类型为float32或float64;也可以是python的float类型。 + - **decay_steps** (int) - 衰减步数。必须是正整数,该参数确定衰减周期。 + - **end_learning_rate** (float,可选) - 最小的最终学习率。默认值为0.0001。 + - **power** (float,可选) - 多项式的幂。默认值为1.0。 + - **cycle** (bool,可选) - 学习率下降后是否重新上升。若为True,则学习率衰减到最低学习率值时,会出现上升。若为False,则学习率曲线则单调递减。默认值为False。 + - **begin** (int,可选) – 起始步,即以上运算式子中global_step的初始化值。默认值为0。 + - **step** (int,可选) – 步大小,即以上运算式子中global_step的递增值。默认值为1。 + - **dtype** (str,可选)– 初始化学习率变量的数据类型,可以为"float32", "float64"。默认值为"float32"。 + +返回: 无 + **代码示例** -- GitLab