Created by: Dely-Yu

我对batch-norm 有一些不清楚。 https://github.com/PaddlePaddle/Paddle/blob/release/1.5/python/paddle/fluid/layers/nn.py#L3049

官方源码里面： mean，variance；mean_out，variance_out； saved_mean，saved_variance分别指什么呢？

按照源码：mean，variance是全局的，在一个batch中，对mean，variance更新，得到新的mean_out，variance_out。saved_mean，saved_variance 是用在inference的。

我的疑问是 ：

1. 按照batch_norm的传统，inference的时候应该用全局的mean，variance。

2. saved_mean，saved_varianc 与 mean，variance有什么不同呢？ [图片] [图片][图片]