From 97093a32232749192557bc93749e4329d99dd7cb Mon Sep 17 00:00:00 2001 From: hutuxian Date: Thu, 28 Nov 2019 19:51:07 +0800 Subject: [PATCH] add data_norm parameter (#1618) * add three new parameters for data_norm * slot_dim: PaddlePaddle/Paddle#21152 * summary_decay_rate & sync_stats: PaddlePaddle/Paddle#21325 --- doc/fluid/api_cn/layers_cn/data_norm_cn.rst | 3 +++ 1 file changed, 3 insertions(+) diff --git a/doc/fluid/api_cn/layers_cn/data_norm_cn.rst b/doc/fluid/api_cn/layers_cn/data_norm_cn.rst index fd52e9043..c1238d4f1 100644 --- a/doc/fluid/api_cn/layers_cn/data_norm_cn.rst +++ b/doc/fluid/api_cn/layers_cn/data_norm_cn.rst @@ -34,6 +34,9 @@ data_norm - **moving_mean_name** （string，Default None） - 存储全局Mean的moving_mean的名称。 - **moving_variance_name** （string，默认None） - 存储全局Variance的moving_variance的名称。 - **do_model_average_for_mean_and_var** （bool，默认值为false） - 是否为mean和variance进行模型平均。 + - **slot_dim** （int, 默认值为-1） - 一个slot的embedding维度，slot用来表征一类特征的集合，在pslib模式下，通常我们通过slot区分特征id，并从参数服务器（pslib）中提取它们的embedding。embedding的第一维是历史上这个embedding展示的次数。如果本op的输入是由这样的embedding连接而来，那么当这个特征id是新的或空的，则正则化结果可能不实际。为了避免这种情况，我们添加了slot_dim来定位并判断这一维是否为零。如果是的话，我们选择跳过正则化。 + - **summary_decay_rate** （float, 默认值为0.9999999） - 更新summary信息时的衰减率。 + - **sync_stats** （bool, 默认值False） - 在多GPU卡的场景下可以使用，用来同步多卡间的summary信息。 返回: 张量变量，是对输入数据进行正则化后的结果。 -- GitLab