提交 dbb89b47 编写于 作者: Z zhouwei25

add chinese doc of new api(ReduceLROnPlatear)

上级 52b1c8f5
...@@ -48,6 +48,7 @@ fluid.dygraph ...@@ -48,6 +48,7 @@ fluid.dygraph
dygraph/PRelu.rst dygraph/PRelu.rst
dygraph/prepare_context.rst dygraph/prepare_context.rst
dygraph/ProgramTranslator.rst dygraph/ProgramTranslator.rst
dygraph/ReduceLROnPlateau.rst
dygraph/save_dygraph.rst dygraph/save_dygraph.rst
dygraph/Sequential.rst dygraph/Sequential.rst
dygraph/SpectralNorm.rst dygraph/SpectralNorm.rst
......
.. THIS FILE IS GENERATED BY `gen_doc.{py|sh}`
!DO NOT EDIT THIS FILE MANUALLY!
.. _api_fluid_dygraph_ReduceLROnPlateau:
ReduceLROnPlateau
-----------------
.. autoclass:: paddle.fluid.dygraph.ReduceLROnPlateau
:members:
:noindex:
...@@ -58,14 +58,14 @@ GradientClipByGlobalNorm ...@@ -58,14 +58,14 @@ GradientClipByGlobalNorm
# return Parameter.name=="fc_0.w_0" # return Parameter.name=="fc_0.w_0"
# clip = fluid.clip.GradientClipByGlobalNorm(clip_norm=1.0, need_clip=fileter_func) # clip = fluid.clip.GradientClipByGlobalNorm(clip_norm=1.0, need_clip=fileter_func)
sgd_optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.1) sgd_optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.1, grad_clip=clip)
sgd_optimizer.minimize(loss, grad_clip=clip) sgd_optimizer.minimize(loss)
place = fluid.CPUPlace() place = fluid.CPUPlace()
exe = fluid.Executor(place) exe = fluid.Executor(place)
x = np.random.uniform(-100, 100, (10, 2)).astype('float32') x = np.random.uniform(-100, 100, (10, 2)).astype('float32')
exe.run(startup_prog) exe.run(startup_prog)
out = exe.run(main_prog, feed={'x': x}, fetch_list=loss) out = exe.run(main_prog, feed={'x': x}, fetch_list=[loss])
**代码示例2:动态图** **代码示例2:动态图**
...@@ -95,5 +95,7 @@ GradientClipByGlobalNorm ...@@ -95,5 +95,7 @@ GradientClipByGlobalNorm
# clip = fluid.clip.GradientClipByGlobalNorm(clip_norm=1.0, need_clip=fileter_func) # clip = fluid.clip.GradientClipByGlobalNorm(clip_norm=1.0, need_clip=fileter_func)
sgd_optimizer = fluid.optimizer.SGD( sgd_optimizer = fluid.optimizer.SGD(
learning_rate=0.1, parameter_list=linear.parameters()) learning_rate=0.1,
sgd_optimizer.minimize(loss, grad_clip=clip) parameter_list=linear.parameters(),
\ No newline at end of file grad_clip=clip)
sgd_optimizer.minimize(loss)
\ No newline at end of file
...@@ -41,6 +41,7 @@ fluid.dygraph ...@@ -41,6 +41,7 @@ fluid.dygraph
dygraph_cn/Pool2D_cn.rst dygraph_cn/Pool2D_cn.rst
dygraph_cn/PRelu_cn.rst dygraph_cn/PRelu_cn.rst
dygraph_cn/prepare_context_cn.rst dygraph_cn/prepare_context_cn.rst
dygraph_cn/ReduceLROnPlateau_cn.rst
dygraph_cn/save_dygraph_cn.rst dygraph_cn/save_dygraph_cn.rst
dygraph_cn/Sequential_cn.rst dygraph_cn/Sequential_cn.rst
dygraph_cn/SpectralNorm_cn.rst dygraph_cn/SpectralNorm_cn.rst
......
...@@ -39,7 +39,7 @@ NaturalExpDecay ...@@ -39,7 +39,7 @@ NaturalExpDecay
- **staircase** (bool,可选) - 若为True, 学习率变化曲线呈阶梯状,若为False,学习率变化值曲线为平滑的曲线。默认值为False。 - **staircase** (bool,可选) - 若为True, 学习率变化曲线呈阶梯状,若为False,学习率变化值曲线为平滑的曲线。默认值为False。
- **begin** (int,可选) – 起始步,即以上运算式子中global_step的初始化值。默认值为0。 - **begin** (int,可选) – 起始步,即以上运算式子中global_step的初始化值。默认值为0。
- **step** (int,可选) – 步大小,即以上运算式子中global_step的每次的增量值。默认值为1。 - **step** (int,可选) – 步大小,即以上运算式子中global_step的每次的增量值。默认值为1。
- **dtype** – (str,可选) 初始化学习率变量的数据类型,可以为"float32", "float64"。默认值为"float32"。 - **dtype** (str,可选) – 学习率值的数据类型,可以为"float32", "float64"。默认值为"float32"。
返回: 无 返回: 无
......
.. _cn_api_fluid_dygraph_ReduceLROnPlateau:
ReduceLROnPlateau
-------------------------------
**注意:该API仅支持【动态图】模式**
.. py:class:: paddle.fluid.dygraph.ReduceLROnPlateau(learning_rate, mode='min', decay_rate=0.1, patience=10, threshold=1e-4, threshold_mode='rel', cooldown=0, min_lr=0, dtype='float32')
该接口提供 ``loss`` 自适应的学习率衰减策略。当 ``loss`` 停止下降时,降低学习率。其思想是:一旦模型表现不再提升,将学习率降低2-10倍对模型的训练往往有益。
``loss`` 是传入到该类的方法 ``step`` 中的参数,其必须是shape为[1]的1-D Tensor。 如果 ``loss`` 停止下降超过 ``patience`` 个epoch,学习率将会减小为
`learning_rate * decay_rate` 。(特殊用法时,可以将 ``mode`` 设置为 `'max'` , 该模式下,如果 ``loss`` 停止上升超过 ``patience`` 个epoch,
学习率也将减小为 `learning_rate * decay_rate` 。)
此外,每降低一次学习率后,重新恢复正常操作会等待 ``cooldown`` 个epoch,在该等待期间,将无视 ``loss`` 的变化情况。
参数:
- **learning_rate** (Variable|float|int) - 初始学习率。其类型可以是Python的 float 或 int 类型。也可以是shape为[1]的
1-D Tensor,且相应数据类型为"float32" 或 "float64"。
- **mode** (str,可选) - `'min'` 和 `'max'` 之一。一般情况下,为 `'min'` ,当 ``loss`` 停止下降时学习率将减小;特殊用法时,可以
将其设置为 `'max'` ,此时当 ``loss`` 停止上升时学习率将减小。默认:`'min'` 。
- **decay_rate** (float,可选) - 学习率衰减的比例。`new_lr = origin_lr * decay_rate` ,它是值小于1.0的float型数字,默认: 0.1。
- **patience** (int,可选) - 当监控指标连续 ``patience`` 个epoch没有提升时,学习率才会减小。默认:10。
- **threshold** (float,可选) - ``threshold`` 和 ``threshold_mode`` 两个参数将会决定监测指标最低提升的阈值。小于该阈值的提升
将会被无视,这使得仅有较大的提升会被关注。默认:1e-4。
- **threshold_mode** (str,可选) - `'rel'` 和 `'abs'` 之一。在 `'rel'` 模式下,监测指标的最低提升阈值是 `last_loss * threshold` ,
其中 ``last_loss`` 是监测指标在上个epoch的值。在 `'abs'` 模式下,监测指标的最低提升阈值是 `threshold` 。 默认:`'rel'`。
- **cooldown** (int,可选) - 在学习速率被降低之后,重新恢复正常操作之前等待的epoch数量。默认:0。
- **min_lr** (float,可选) - 最小的学习率。减小后的学习率最低下界限。默认:0。
- **dtype** (str,可选) – 学习率值的数据类型,可以为"float32", "float64"。默认:"float32"。
返回:与 ``loss`` 的提升相关的学习率
返回类型:Variable
**代码示例**:
.. code-block:: python
import paddle.fluid as fluid
import numpy as np
with fluid.dygraph.guard():
x = np.random.uniform(-1, 1, [10, 10]).astype("float32")
linear = fluid.dygraph.Linear(10, 10)
input = fluid.dygraph.to_variable(x)
adam = fluid.optimizer.Adam(
learning_rate = fluid.dygraph.ReduceLROnPlateau(
learning_rate = 1.0,
decay_rate = 0.5,
patience = 5,
cooldown = 3),
parameter_list = linear.parameters())
for epoch in range(10):
total_loss = 0
for bath_id in range(5):
out = linear(input)
loss = fluid.layers.reduce_mean(out)
total_loss += loss
adam.minimize(loss)
avg_loss = total_loss/5
reduce_lr.step(total_loss)
lr = adam.current_step_lr()
print("current avg_loss is %s, current lr is %s" % (avg_loss.numpy()[0], lr))
.. py:method:: step(loss)
根据传入的 ``loss`` 更新optimizer中学习率。更新后的学习率将会在下一次 ``optimizer.minimize`` 时生效。
参数:
loss (Variable): 类型:Variable,将被用来判断是否需要降低学习率。如果 ``loss`` 连续 ``patience`` 个epochs没有下降,将会降低学习率。
其必须是shape为[1]的1-D Tensor。特殊使用时,可以将 ``mode`` 设置为 ``'max'`` ,此时如果 ``loss`` 连续 ``patience`` 个epochs没
有上升,学习率将会下降。
返回:
**代码示例**:
参照其类 ref:`api_fluid_dygraph_ReduceLROnPlateau` 中的说明。
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册