From ab12756122f0787e61500dff1cce93d74f574225 Mon Sep 17 00:00:00 2001 From: liangjianzhong Date: Fri, 18 Sep 2020 16:43:31 +0800 Subject: [PATCH] add fleet meta lars and lamb api document --- .../api/paddle/distributed/fleet/DistributedStrategy_cn.rst | 6 +++++- 1 file changed, 5 insertions(+), 1 deletion(-) diff --git a/doc/paddle/api/paddle/distributed/fleet/DistributedStrategy_cn.rst b/doc/paddle/api/paddle/distributed/fleet/DistributedStrategy_cn.rst index 41d805057..0092fb5b1 100755 --- a/doc/paddle/api/paddle/distributed/fleet/DistributedStrategy_cn.rst +++ b/doc/paddle/api/paddle/distributed/fleet/DistributedStrategy_cn.rst @@ -75,9 +75,12 @@ DistributedStrategy .. py:attribute:: lars_configs 设置LARS优化器的参数。用户可以配置 lars_coeff，lars_weight_decay，epsilon，exclude_from_weight_decay 参数。 -**lars_coeff(float):** lars 系数，原论文(https://arxiv.org/abs/1708.03888)中的 trust coefficient。 默认值是 0.001. +**lars_coeff(float):** lars 系数，[原论文](https://arxiv.org/abs/1708.03888) 中的 trust coefficient。 默认值是 0.001. + **lars_weight_decay(float):** lars 公式中 weight decay 系数。 默认值是 0.0005. + **exclude_from_weight_decay(list[str]):** 不应用 weight decay 的 layers 的名字列表，某一layer 的name 如果在列表中，这一layer 的 lars_weight_decay将被置为 0. 默认值是 None. + **epsilon(float):** 一个小的浮点值，目的是维持数值稳定性，避免 lars 公式中的分母为零。 默认值是 0. .. py:attribute:: lamb @@ -97,4 +100,5 @@ DistributedStrategy 设置LAMB优化器的参数。用户可以配置 lamb_weight_decay，exclude_from_weight_decay 参数。 **lamb_weight_decay(float):** lars 公式中 weight decay 系数。 默认值是 0.01. + **exclude_from_weight_decay(list[str]):** 不应用 weight decay 的 layers 的名字列表，某一layer 的name 如果在列表中，这一layer 的 lamb_weight_decay将被置为 0. 默认值是 None. -- GitLab