未验证 提交 97093a32 编写于 作者: H hutuxian 提交者: GitHub

add data_norm parameter (#1618)

* add three new parameters for data_norm
* slot_dim: PaddlePaddle/Paddle#21152
* summary_decay_rate & sync_stats: PaddlePaddle/Paddle#21325
上级 40fddf21
......@@ -34,6 +34,9 @@ data_norm
- **moving_mean_name** (string,Default None) - 存储全局Mean的moving_mean的名称。
- **moving_variance_name** (string,默认None) - 存储全局Variance的moving_variance的名称。
- **do_model_average_for_mean_and_var** (bool,默认值为false) - 是否为mean和variance进行模型平均。
- **slot_dim** (int, 默认值为-1) - 一个slot的embedding维度,slot用来表征一类特征的集合,在pslib模式下,通常我们通过slot区分特征id,并从参数服务器(pslib)中提取它们的embedding。embedding的第一维是历史上这个embedding展示的次数。如果本op的输入是由这样的embedding连接而来,那么当这个特征id是新的或空的,则正则化结果可能不实际。为了避免这种情况,我们添加了slot_dim来定位并判断这一维是否为零。如果是的话,我们选择跳过正则化。
- **summary_decay_rate** (float, 默认值为0.9999999) - 更新summary信息时的衰减率。
- **sync_stats** (bool, 默认值False) - 在多GPU卡的场景下可以使用,用来同步多卡间的summary信息。
返回: 张量变量,是对输入数据进行正则化后的结果。
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册