Created by: bliunlpr

在 model_utils/network.py 107行 , 定义了 bidirectional_gru_bn_layer(name, input, size, act) 这个函数，做的是双向带bn的gru。在程序里，先做了一个线性变换层，应该是 输入乘以一个权重矩阵（代表了gru计算公式中的前半部分，也就是 W_z * X, W_r * X, W * X）。紧接着做了bn。但是在计算bn的时候，会先做一个 减均值除标准差 的操作，如果输入乘了权重矩阵，再进行 减均值除标准差的操作 的时候，结果是一样的。 换句话说，上面的线性变换层是不是就失去作用了？无论变换是什么，计算bn 的时候都抵消了。不知道我这样理解是不是有问题？诚心求教，谢谢！