未验证 提交 eb6adf56 编写于 作者: C ceci3 提交者: GitHub

Fix bn (#1701)

* update bn

* update

* update bn
上级 bca28b97
...@@ -28,6 +28,7 @@ batch_norm ...@@ -28,6 +28,7 @@ batch_norm
moving\_variance = moving\_variance * momentum + mini\_batch\_var * (1. - momentum) moving\_variance = moving\_variance * momentum + mini\_batch\_var * (1. - momentum)
moving_mean和moving_var是训练过程中统计得到的全局均值和方差,在预测或者评估中使用。 moving_mean和moving_var是训练过程中统计得到的全局均值和方差,在预测或者评估中使用。
`is_test` 参数只能用于测试或者评估阶段,如果想在训练阶段使用预训练模型的全局均值和方差的话,可以设置 `use_global_stats=True`.
当use_global_stats = True时, :math:`\mu_{\beta}` 和 :math:`\sigma_{\beta}^{2}` 不是一个minibatch的统计数据。 它们是全局(或运行)统计数据(moving_mean和moving_variance),通常来自预先训练好的模型。训练和测试(或预测)具有相同的行为: 当use_global_stats = True时, :math:`\mu_{\beta}` 和 :math:`\sigma_{\beta}^{2}` 不是一个minibatch的统计数据。 它们是全局(或运行)统计数据(moving_mean和moving_variance),通常来自预先训练好的模型。训练和测试(或预测)具有相同的行为:
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册