From 2a97deebcbe3143ae764ece029a42afa7b95f1e0 Mon Sep 17 00:00:00 2001 From: Aurelius84 Date: Mon, 23 Sep 2019 18:49:14 +0800 Subject: [PATCH] improve fc api cn doc (#1173) * improve fc api cn doc test=document_preview * refine param num_flatten_dims doc test=document_preview * refine output dataType test=document_preview * refine return type * add LoDTensor * refine paraAttr, bias_attr --- doc/fluid/api_cn/layers_cn/fc_cn.rst | 57 +++++++++++++++++----------- 1 file changed, 35 insertions(+), 22 deletions(-) diff --git a/doc/fluid/api_cn/layers_cn/fc_cn.rst b/doc/fluid/api_cn/layers_cn/fc_cn.rst index 1dd4ff8c4..ee1fa65dd 100644 --- a/doc/fluid/api_cn/layers_cn/fc_cn.rst +++ b/doc/fluid/api_cn/layers_cn/fc_cn.rst @@ -3,14 +3,14 @@ fc ------------------------------- -.. py:function:: paddle.fluid.layers.fc(input, size, num_flatten_dims=1, param_attr=None, bias_attr=None, act=None, is_test=False, name=None) +.. py:function:: paddle.fluid.layers.fc(input, size, num_flatten_dims=1, param_attr=None, bias_attr=None, act=None, name=None) **全连接层** -该函数在神经网络中建立一个全连接层。 它可以将一个或多个tensor（ ``input`` 可以是一个list或者Variable，详见参数说明）作为自己的输入，并为每个输入的tensor创立一个变量，称为“权”（weights），等价于一个从每个输入单元到每个输出单元的全连接权矩阵。FC层用每个tensor和它对应的权相乘得到形状为[M, size]输出tensor，M是批大小。如果有多个输入tensor，那么形状为[M, size]的多个输出张量的结果将会被加起来。如果 ``bias_attr`` 非空，则会新创建一个偏向变量（bias variable），并把它加入到输出结果的运算中。最后，如果 ``act`` 非空，它也会加入最终输出的计算中。 +该OP将在神经网络中构建一个全连接层。其输入可以是一个Tensor（或LoDTensor）或多个Tensor（或LoDTensor）组成的list（详见参数说明），该OP会为每个输入的Tensor创建一个权重（weights）变量，即一个从每个输入单元到每个输出单元的全连接权重矩阵。FC层将每个输入Tensor和其对应的权重(weights)相乘得到shape为 :math:`[M, size]` 输出Tensor，其中 ``M`` 为batch_size大小。如果有多个输入Tensor，则多个shape为 :math:`[M, size]` 的Tensor计算结果会被累加起来，作为最终输出。如果 ``bias_attr`` 非空，则会创建一个偏置变量（bias variable），并把它累加到输出结果中。如果 ``act`` 非空，将会在输出结果上应用相应的激活函数。 -当输入为单个张量： +当输入为单个Tensor（或LoDTensor）： .. math:: @@ -18,7 +18,7 @@ fc -当输入为多个张量： +当输入为多个Tensor（或LoDTensor）组成的list时： .. math:: @@ -26,46 +26,59 @@ fc 上述等式中： - - :math:`N` ：输入的数目,如果输入是变量列表，N等于len（input） - - :math:`X_i` ：第i个输入的tensor + - :math:`N` ：输入的数目，如果输入是Tensor列表，N等于len(input) + - :math:`X_i` ：第i个输入的Tensor - :math:`W_i` ：对应第i个输入张量的第i个权重矩阵 - - :math:`b` ：该层创立的bias参数 - - :math:`Act` ：activation function(激励函数) - - :math:`Out` ：输出tensor + - :math:`b` ：该层创建的bias参数 + - :math:`Act` ：activation function(激活函数) + - :math:`Out` ：输出Tensor :: + + Case 1： + 给定单个输入Tensor data_1, 且num_flatten_dims = 2: + data_1.data = [[[0.1, 0.2], + [0.3, 0.4]]] + data_1.shape = (1, 2, 2) # 1是batch_size + + out = fluid.layers.fc(input=data_1, size=1， num_flatten_dims=2) + + 则输出为： + out.data = [[0.83234344], [0.34936576]] + out.shape = (1, 2, 1) + - Given: + Case 2: + 给定多个Tensor组成的list: data_1.data = [[[0.1, 0.2], [0.3, 0.4]]] - data_1.shape = (1, 2, 2) # 1 is batch_size + data_1.shape = (1, 2, 2) # 1 是 batch_size data_2 = [[[0.1, 0.2, 0.3]]] data_2.shape = (1, 1, 3) out = fluid.layers.fc(input=[data_1, data_2], size=2) - Then: + 则输出为： out.data = [[0.18669507, 0.1893476]] out.shape = (1, 2) 参数: - - **input** (Variable|list of Variable) – 该层的输入tensor(s)（张量），其维度至少是2 - - **size** (int) – 该层输出单元的数目 - - **num_flatten_dims** (int, default 1) – fc层可以接受一个维度大于2的tensor。此时， 它首先会被扁平化(flattened)为一个二维矩阵。 参数``num_flatten_dims`` 决定了输入tensor的flattened方式: 前 ``num_flatten_dims`` (包含边界，从1开始数) 个维度会被扁平化为最终矩阵的第一维 (维度即为矩阵的高), 剩下的 rank(X) - num_flatten_dims 维被扁平化为最终矩阵的第二维 (即矩阵的宽)。 例如， 假设X是一个五维tensor，其形可描述为(2, 3, 4, 5, 6), 且num_flatten_dims = 3。那么扁平化的矩阵形状将会如此： (2 x 3 x 4, 5 x 6) = (24, 30) - - **param_attr** (ParamAttr|list of ParamAttr, default None) – 该层可学习的参数/权的参数属性 - - **bias_attr** (ParamAttr|list of ParamAttr, default None) – 该层bias变量的参数属性。如果值为False， 则bias变量不参与输出单元运算。 如果值为None，bias变量被初始化为0。默认为 None。 - - **act** (str, default None) – 应用于输出的Activation（激励函数） - - **is_test** (bool) – 表明当前执行是否处于测试阶段的标志 - - **name** (str, default None) – 该层的命名 + - **input** (Variable|list of Variable) – 维度为 :math:`[N_1, N_2, ..., N_k]` 的多维Tensor（或LoDTensor）或由多个Tensor（或LoDTensor）组成的list，输入Tensor的shape至少是2。 + - **size** (int) – 全连接层输出单元的数目，即输出Tensor（或LoDTensor）特征维度。 + - **num_flatten_dims** (int) – 输入可以接受维度大于2的Tensor。在计算时，输入首先会被扁平化（flatten）为一个二维矩阵，之后再与权重(weights)相乘。参数 ``num_flatten_dims`` 决定了输入Tensor的flatten方式: 前 ``num_flatten_dims`` (包含边界，从1开始数) 个维度会被扁平化为二维矩阵的第一维 (即为矩阵的高), 剩下的 :math:`rank(X) - num\_flatten\_dims` 维被扁平化为二维矩阵的第二维 (即矩阵的宽)。 例如， 假设X是一个五维的Tensor，其shape为(2, 3, 4, 5, 6), 若 :math:`num\_flatten\_dims = 3` ，则扁平化的矩阵shape为： :math:`(2 x 3 x 4, 5 x 6) = (24, 30)` ，最终输出Tensor的shape为 :math:`(2, 3, 4, size)` 。默认为1。 + - **param_attr** (ParamAttr) – 指定权重参数属性的对象。默认值为None，表示使用默认的权重参数属性。具体用法请参见 :ref:`cn_api_fluid_ParamAttr` 。 + - **bias_attr** (ParamAttr) – 指定偏置参数属性的对象。默认值为None，表示使用默认的偏置参数属性。具体用法请参见 :ref:`cn_api_fluid_ParamAttr` 。 + - **act** (str) – 应用于输出上的激活函数，如tanh、softmax、sigmoid，relu等，支持列表请参考 :ref:`api_guide_activations` ，默认值为None。 + - **name** (str) – 该参数供开发人员打印调试信息时使用，具体用法请参见 :ref:`api_guide_Name` ，默认值为None。 -返回：转换结果 +返回：经过全连接层计算后的Tensor或LoDTensor，数据类型与input类型一致。 返回类型: Variable -弹出异常：``ValueError`` - 如果输入tensor的维度小于2 +弹出异常：``ValueError`` - 如果输入Tensor（或LoDTensor）的维度小于2 **代码示例** -- GitLab