Created by: usafchn

如果给paddle的优化器配置l2 decay，比如：

            optimizer = fluid.optimizer.Momentum(
                learning_rate=xxxx,
                momentum=FLAGS.momentum,
                use_nesterov=True,
                regularization=fluid.regularizer.L2DecayRegularizer(FLAGS.weight_decay)
            )

实现上paddle会给所有variable加上正则，包括每一层的bias，如果要关掉bias上的正则，还需要给每一层： fluid.layers.conv2d(xxx……, bias_attr=False, xxxx……) 手动关掉bias的正则，比较麻烦。

我个人觉得很少有模型会给bias加正则，当optimizer配置全局正则的时候，应该默认就跳过bias，这样的设计会比较好点？