提交 8c6a20ad 编写于 作者: D Double_V 提交者: Bai Yifan

fix chinese doc of BilinearInitializer, ConstantInitializer, MSRAInitializer,...

fix chinese doc of BilinearInitializer, ConstantInitializer, MSRAInitializer, force_init_on_cpu, init_on_cpu and row_conv (#1280)

* fix chinese doc of BilinearInitializer, ConstantInitializer,
    MSRAInitializer, force_init_on_cpu, init_on_cpu, test=develop

* fix MSRAinitializer chinese doc, test=develop

* fix chinese doc of row_conv, test=develop, test=document_fix

* fix row_conv doc, test=develop

* update doc, test=develop
上级 db438b5a
...@@ -3,9 +3,13 @@ ...@@ -3,9 +3,13 @@
BilinearInitializer BilinearInitializer
------------------------------- -------------------------------
.. py:class:: paddle.fluid.initializer.BilinearInitializer .. py:class:: paddle.fluid.initializer.BilinearInitializer())
该初始化函数用于转置卷积函数,进行上采样。用户通过任意整型因子放大shape为(B,C,H,W)的特征图。用法如下: 该接口为参数初始化函数,用于转置卷积函数中,对输入进行上采样。用户通过任意整型因子放大shape为(B,C,H,W)的特征图。
返回:对象
用法如下:
**代码示例**: **代码示例**:
...@@ -14,11 +18,12 @@ BilinearInitializer ...@@ -14,11 +18,12 @@ BilinearInitializer
import paddle.fluid as fluid import paddle.fluid as fluid
factor = 2 factor = 2
C = 2 C = 2
w_attr = fluid.param_attr.ParamAttr( H = W = 32
w_attr = fluid.ParamAttr(
learning_rate=0., learning_rate=0.,
regularizer=fluid.regularizer.L2Decay(0.), regularizer=fluid.regularizer.L2Decay(0.),
initializer=fluid.initializer.Bilinear()) initializer=fluid.initializer.BilinearInitializer())
x = fluid.layers.data(name="data", shape=[3, 32, 32], x = fluid.layers.data(name="data", shape=[4, H, W],
dtype="float32") dtype="float32")
conv_up = fluid.layers.conv2d_transpose( conv_up = fluid.layers.conv2d_transpose(
input=x, input=x,
...@@ -31,8 +36,7 @@ BilinearInitializer ...@@ -31,8 +36,7 @@ BilinearInitializer
param_attr=w_attr, param_attr=w_attr,
bias_attr=False) bias_attr=False)
num_filters = C和groups = C 表示这是按通道转置的卷积函数。滤波器shape为(C,1,K,K),K为filter_size。该初始化函数为滤波器的每个通道设置(K,K)插值核。输出特征图的最终输出shape为(B,C,factor*H,factor*W)。注意学习率和权重衰减设为0,以便在训练过程中双线性插值的系数值保持不变 上述代码实现的是将输入x(shape=[-1, 4, H, W])经过转置卷积得到shape=[-1, C, H*factor, W*factor]的输出,num_filters = C和groups = C 表示这是按通道转置的卷积函数,输出通道为C,转置卷积的groups为C。滤波器shape为(C,1,K,K),K为filter_size。该初始化函数为滤波器的每个通道设置(K,K)插值核。输出特征图的最终输出shape为(B,C,factor*H,factor*W)。注意学习率和权重衰减设为0,以便在训练过程中双线性插值的系数值保持不变
......
...@@ -5,20 +5,21 @@ ConstantInitializer ...@@ -5,20 +5,21 @@ ConstantInitializer
.. py:class:: paddle.fluid.initializer.ConstantInitializer(value=0.0, force_cpu=False) .. py:class:: paddle.fluid.initializer.ConstantInitializer(value=0.0, force_cpu=False)
常量初始器 该接口为常量初始化函数,用于权重初始化,通过输入的value值初始化输入变量;
参数: 参数:
- **value** (float) - 用常量初始化变量 - **value** (float16|float32) - 用于初始化输入变量的值;
返回:对象
**代码示例** **代码示例**
.. code-block:: python .. code-block:: python
import paddle.fluid as fluid import paddle.fluid as fluid
x = fluid.layers.data(name="data", shape=[32, 32], dtype="float32") x = fluid.layers.data(name="data", shape=[32, 32], dtype="float32")
fc = fluid.layers.fc(input=x, size=10, fc = fluid.layers.fc(input=x, size=10,
param_attr=fluid.initializer.Constant(value=2.0)) param_attr=fluid.initializer.ConstantInitializer(value=2.0))
......
...@@ -5,10 +5,10 @@ MSRAInitializer ...@@ -5,10 +5,10 @@ MSRAInitializer
.. py:class:: paddle.fluid.initializer.MSRAInitializer(uniform=True, fan_in=None, seed=0) .. py:class:: paddle.fluid.initializer.MSRAInitializer(uniform=True, fan_in=None, seed=0)
实现MSRA初始化(a.k.a. Kaiming初始化) 该接口实现MSRA方式的权重初始化(a.k.a. Kaiming初始化)
该类实现权重初始化方法,方法来自Kaiming He,Xiangyu Zhang,Shaoqing Ren 和 Jian Sun所写的论文: `Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification <https://arxiv.org/abs/1502.01852>`_ 。这是一个鲁棒性特别强的初始化方法,并且适应了非线性激活函数(rectifier nonlinearities)。
该接口为权重初始化函数,方法来自Kaiming He,Xiangyu Zhang,Shaoqing Ren 和 Jian Sun所写的论文: `Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification <https://arxiv.org/abs/1502.01852>`_ 。这是一个鲁棒性特别强的初始化方法,并且适应了非线性激活函数(rectifier nonlinearities)。
可以选择使用均匀分布或者正太分布初始化权重;
在均匀分布中,范围为[-x,x],其中: 在均匀分布中,范围为[-x,x],其中:
.. math:: .. math::
...@@ -22,9 +22,11 @@ MSRAInitializer ...@@ -22,9 +22,11 @@ MSRAInitializer
\sqrt{\frac{2.0}{fan\_in}} \sqrt{\frac{2.0}{fan\_in}}
参数: 参数:
- **uniform** (bool) - 是否用均匀分布或正态分布 - **uniform** (bool) - 为True表示使用均匀分布,为False表示使用正态分布
- **fan_in** (float) - MSRAInitializer的fan_in。如果为None,fan_in沿伸自变量 - **fan_in** (float16|float32) - MSRAInitializer的fan_in。如果为None,fan_in沿伸自变量,多设置为None
- **seed** (int) - 随机种子 - **seed** (int32) - 随机种子
返回:对象
.. note:: .. note::
...@@ -36,8 +38,7 @@ MSRAInitializer ...@@ -36,8 +38,7 @@ MSRAInitializer
import paddle.fluid as fluid import paddle.fluid as fluid
x = fluid.layers.data(name="data", shape=[32, 32], dtype="float32") x = fluid.layers.data(name="data", shape=[32, 32], dtype="float32")
fc = fluid.layers.fc(input=x, size=10, param_attr=fluid.initializer.MSRA(uniform=False)) fc = fluid.layers.fc(input=x, size=10, param_attr=fluid.initializer.MSRAInitializer(uniform=False))
......
...@@ -8,9 +8,11 @@ NormalInitializer ...@@ -8,9 +8,11 @@ NormalInitializer
随机正态(高斯)分布初始化函数 随机正态(高斯)分布初始化函数
参数: 参数:
- **loc** (float) - 正态分布的平均值 - **loc** (float16|float32) - 正态分布的平均值
- **scale** (float) - 正态分布的标准差 - **scale** (float16|float32) - 正态分布的标准差
- **seed** (int) - 随机种子 - **seed** (int32) - 随机种子
返回:对象
**代码示例** **代码示例**
...@@ -21,4 +23,3 @@ NormalInitializer ...@@ -21,4 +23,3 @@ NormalInitializer
fc = fluid.layers.fc(input=x, size=10, fc = fluid.layers.fc(input=x, size=10,
param_attr=fluid.initializer.Normal(loc=0.0, scale=2.0)) param_attr=fluid.initializer.Normal(loc=0.0, scale=2.0))
...@@ -8,10 +8,12 @@ TruncatedNormalInitializer ...@@ -8,10 +8,12 @@ TruncatedNormalInitializer
Random Truncated Normal(高斯)分布初始化函数 Random Truncated Normal(高斯)分布初始化函数
参数: 参数:
- **loc** (float) - 正态分布的平均值 - **loc** (float16|float32) - 正态分布的平均值
- **scale** (float) - 正态分布的标准差 - **scale** (float16|float32) - 正态分布的标准差
- **seed** (int) - 随机种子 - **seed** (int32) - 随机种子
返回:对象
**代码示例** **代码示例**
.. code-block:: python .. code-block:: python
...@@ -28,4 +30,3 @@ Random Truncated Normal(高斯)分布初始化函数 ...@@ -28,4 +30,3 @@ Random Truncated Normal(高斯)分布初始化函数
...@@ -8,10 +8,12 @@ UniformInitializer ...@@ -8,10 +8,12 @@ UniformInitializer
随机均匀分布初始化器 随机均匀分布初始化器
参数: 参数:
- **low** (float) - 下界 - **low** (float16|float32) - 下界
- **high** (float) - 上界 - **high** (float16|float32) - 上界
- **seed** (int) - 随机种子 - **seed** (int32) - 随机种子
返回:对象
**代码示例** **代码示例**
.. code-block:: python .. code-block:: python
...@@ -28,4 +30,3 @@ UniformInitializer ...@@ -28,4 +30,3 @@ UniformInitializer
...@@ -5,7 +5,7 @@ force_init_on_cpu ...@@ -5,7 +5,7 @@ force_init_on_cpu
.. py:function:: paddle.fluid.initializer.force_init_on_cpu() .. py:function:: paddle.fluid.initializer.force_init_on_cpu()
标志位,是否强制在CPU上进行变量初始化 该接口获得一个是否强制在CPU上初始化变量的布尔型标志位
返回:状态,是否应强制在CPU上强制进行变量初始化 返回:状态,是否应强制在CPU上强制进行变量初始化
......
...@@ -5,8 +5,10 @@ init_on_cpu ...@@ -5,8 +5,10 @@ init_on_cpu
.. py:function:: paddle.fluid.initializer.init_on_cpu() .. py:function:: paddle.fluid.initializer.init_on_cpu()
强制变量在 cpu 上初始化。 该接口设置强制变量在 cpu 上初始化。
返回:无
**代码示例** **代码示例**
.. code-block:: python .. code-block:: python
...@@ -17,6 +19,3 @@ init_on_cpu ...@@ -17,6 +19,3 @@ init_on_cpu
...@@ -5,7 +5,7 @@ row_conv ...@@ -5,7 +5,7 @@ row_conv
.. py:function:: paddle.fluid.layers.row_conv(input, future_context_size, param_attr=None, act=None) .. py:function:: paddle.fluid.layers.row_conv(input, future_context_size, param_attr=None, act=None)
行卷积(Row-convolution operator)称为超前卷积(lookahead convolution)。下面关于DeepSpeech2的paper中介绍了这个operator 该接口为行卷积(Row-convolution operator)或称之为超前卷积(lookahead convolution),最早介绍于DeepSpeech2论文中,论文链接:
`<http://www.cs.cmu.edu/~dyogatam/papers/wang+etal.iclrworkshop2016.pdf>`_ `<http://www.cs.cmu.edu/~dyogatam/papers/wang+etal.iclrworkshop2016.pdf>`_
...@@ -25,12 +25,12 @@ row_conv ...@@ -25,12 +25,12 @@ row_conv
详细请参考 `设计文档 <https://github.com/PaddlePaddle/Paddle/issues/2228#issuecomment-303903645>`_ 。 详细请参考 `设计文档 <https://github.com/PaddlePaddle/Paddle/issues/2228#issuecomment-303903645>`_ 。
参数: 参数:
- **input** (Variable) -- 输入是一个LodTensor,它支持可变时间长度的输入序列。这个LodTensor的内部张量是一个具有形状(T x N)的矩阵,其中T是这个mini batch中的总的timestep,N是输入数据维数 - **input** (Variable) -- 支持输入为LodTensor和Tensor,输入类型可以是[float32, float64],它支持可变时间长度的输入序列。当输入input为LodTensor时,其内部张量是一个具有形状(T x N)的矩阵,其中T是这个mini batch中的总的timestep,N是输入数据维数。当输入input为Tensor时,其形状为(B x T x N)的三维矩阵,B为mini batch大小,T为每个batch输入中的最大timestep,N是输入数据维数。当输入input为LoDTensor,形状为[9, N],LoD信息为[2, 3, 4],等价于输入input为形状是[3, 4, N]的Tensor
- **future_context_size** (int) -- 下文大小。请注意,卷积核的shape是[future_context_size + 1, D] - **future_context_size** (int) -- 下文大小。请注意,卷积核的shape是[future_context_size + 1, N],N和输入input的数据维度N保持一致
- **param_attr** (ParamAttr) -- 参数的属性,包括名称、初始化器等。 - **param_attr** (ParamAttr) -- 参数的属性,包括名称、初始化器等。
- **act** (str) -- 非线性激活函数。 - **act** (str) -- 非线性激活函数。
返回: 输出(Out)是一个LodTensor,它支持可变时间长度的输入序列。这个LodTensor的内部量是一个形状为 T x N 的矩阵,和X的 shape 一样 返回:表示row_conv计算结果的Variable,数据类型、维度和输入input相同
**代码示例** **代码示例**
...@@ -38,9 +38,17 @@ row_conv ...@@ -38,9 +38,17 @@ row_conv
.. code-block:: python .. code-block:: python
import paddle.fluid as fluid import paddle.fluid as fluid
# LoDTensor input
x = fluid.layers.data(name='x', shape=[9, 16],
dtype='float32', lod_level=3,
append_batch_size=False)
out = fluid.layers.row_conv(input=x, future_context_size=2)
x = fluid.layers.data(name='x', shape=[16], # Tensor input
dtype='float32', lod_level=1) x = fluid.layers.data(name='x', shape=[9, 4, 16],
dtype='float32',
append_batch_size=False)
out = fluid.layers.row_conv(input=x, future_context_size=2) out = fluid.layers.row_conv(input=x, future_context_size=2)
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册