remove FC doc, change FC to Linear for sample code (#1716)

* remove FC, test=develop

* delete en_doc for fc, test=develop

* polish code style, test=develop

* change FC to Linear, test=develop

doc/fluid/api/dygraph.rst

@@ -16,7 +16,6 @@ fluid.dygraph
     dygraph/dygraph_to_static_output.rst
     dygraph/Embedding.rst
     dygraph/ExponentialDecay.rst
-    dygraph/FC.rst
     dygraph/GroupNorm.rst
     dygraph/GRUUnit.rst
     dygraph/guard.rst

doc/fluid/api/dygraph/FC.rst

-..  THIS FILE IS GENERATED BY `gen_doc.{py|sh}`
-    !DO NOT EDIT THIS FILE MANUALLY!
-
-.. _api_fluid_dygraph_FC:
-
-FC
---
-
-..  autoclass:: paddle.fluid.dygraph.FC
-    :members:
-    :noindex:
-

doc/fluid/api_cn/dygraph_cn/FC_cn.rst

@@ -8,99 +8,5 @@ FC
 .. py:class:: paddle.fluid.dygraph.FC(name_scope, size, num_flatten_dims=1, param_attr=None, bias_attr=None, act=None, is_test=False, dtype='float32')
 
 
-**全连接层**
-
-该接口用于构建 ``FC`` 类的一个可调用对象，具体用法参照 ``代码示例`` 。其将在神经网络中构建一个全连接层。其输入可以是一个 ``Tensor`` 或多个 ``Tensor`` 组成的list（详见参数说明），该接口会为每个输入的Tensor创建一个权重（weights）变量，即一个从每个输入单元到每个输出单元的全连接权重矩阵。全连接层将每个输入Tensor和其对应的权重(weights)相乘得到shape为 :math:`[N, size]` 的输出Tensor，其中N为batch_size大小。如果有多个输入Tensor，则多个shape为 :math:`[N, size]` 的Tensor计算结果会被累加起来，作为最终输出。如果 ``bias_attr`` 为False，表示不会为该层添加偏置。如果 ``act`` 非空，将会在输出结果上应用相应的激活函数。
-
-当输入为单个 ``Tensor`` ：
-
-.. math::
-
-        \\Out = Act({XW + b})\\
-
-
-
-当输入为多个 ``Tensor`` 组成的list时：
-
-.. math::
-
-        \\Out=Act(\sum^{N-1}_{i=0}X_iW_i+b) \\
-
-
-上述等式中：
-  - :math:`N` ：输入的数目,如果输入是Tensor列表，N等于len（input）
-  - :math:`X_i` ：第i个输入的Tensor
-  - :math:`W_i` ：对应第i个输入张量的第i个权重矩阵
-  - :math:`b` ：该层创建的bias参数
-  - :math:`Act` ：激活函数
-  - :math:`Out` ：输出Tensor
-
-::
-            
-        Case 1： 
-            给定单个输入Tensor data_1, 且num_flatten_dims = 2:
-                data_1.data = [[[0.1, 0.2],
-                               [0.3, 0.4]]]
-                data_1.shape = (1, 2, 2) # 1是batch_size
-                
-                fc = FC("fc", 1, num_flatten_dims=2)
-                out = fc(data_1)
-
-            则输出为：
-                out.data = [[0.83234344], [0.34936576]]
-                out.shape = (1, 2, 1)
-
-
-        Case 2: 
-            给定多个Tensor组成的list:
-                data_1.data = [[[0.1, 0.2],
-                               [0.3, 0.4]]]
-                data_1.shape = (1, 2, 2) # 1 是 batch_size
-
-                data_2 = [[[0.1, 0.2, 0.3]]]
-                data_2.shape = (1, 1, 3)
-
-                fc = FC("fc", 2)
-                out = fc([data_1, data_2])
-
-            则输出为：
-                out.data = [[0.18669507, 0.1893476]]
-                out.shape = (1, 2)
-
-参数:
-  - **name_scope** (str) – 类的名称。
-  - **size** (int) – 全连接层输出单元的数目，即输出 ``Tensor`` 的特征维度。
-  - **num_flatten_dims** (int, 可选) – fc层可以接受一个维度大于2的tensor。此时， 它首先会被扁平化(flattened)为一个二维矩阵。 参数 ``num_flatten_dims`` 决定了输入tensor的flattened方式: 前 ``num_flatten_dims`` (包含边界，从1开始数) 个维度会被扁平化为最终矩阵的第一维 (维度即为矩阵的高), 剩下的 rank(X) - num_flatten_dims 维被扁平化为最终矩阵的第二维 (即矩阵的宽)。 例如， 假设X是一个五维tensor，其形可描述为[2, 3, 4, 5, 6], 且num_flatten_dims = 3。那么扁平化的矩阵形状将会如此： [2 x 3 x 4, 5 x 6] = [24, 30]。默认为1。
-  - **param_attr** (ParamAttr|list of ParamAttr, 可选) – 指定权重参数属性的对象。默认值为None，表示使用默认的权重参数属性。具体用法请参见 :ref:`cn_api_fluid_ParamAttr` 。
-  - **bias_attr** (ParamAttr|list of ParamAttr|bool, 可选) – 指定偏置参数属性的对象，若 `bias_attr` 为bool类型，如果设置为False，表示不会为该层添加偏置；如果设置为True，表示使用默认的偏置参数属性。默认值为None，表示使用默认的偏置参数属性。默认的偏置参数属性将偏置参数的初始值设为0。具体用法请参见 :ref:`cn_api_fluid_ParamAttr` 。
-  - **act** (str, 可选) – 应用于输出上的激活函数，如tanh、softmax、sigmoid，relu等，支持列表请参考 :ref:`api_guide_activations` ，默认值为None。
-  - **is_test** (bool, 可选) – 表明当前执行是否处于测试阶段的标志。默认为False。
-  - **dtype** (str, 可选) – 权重的数据类型，可以为float32或float64。默认为float32。
-
-返回：无
-
-**代码示例**
-
-..  code-block:: python
-
-    from paddle.fluid.dygraph.base import to_variable
-    import paddle.fluid as fluid
-    from paddle.fluid.dygraph import FC
-    import numpy as np
-
-    data = np.random.uniform( -1, 1, [30, 10, 32] ).astype('float32')
-    with fluid.dygraph.guard():
-        fc = FC( "fc", 64, num_flatten_dims=2)
-        data = to_variable(data)
-        conv = fc(data)
-
-属性
-::::::::::::
-.. py:attribute:: weight
-
-本层的可学习参数，类型为 ``Parameter``
-
-.. py:attribute:: bias
-
-本层的可学习偏置，类型为 ``Parameter``
-
+.. note::
+    该api已经被删除，请使用 ``Linear`` 接口，具体请参考 :ref:`cn_api_fluid_dygraph_Linear` 。

doc/fluid/api_cn/dygraph_cn/Linear_cn.rst

@@ -14,7 +14,7 @@ Linear
 
 其中，:math:`X` 为输入的 Tensor， :math:`W` 和 :math:`b` 分别为权重和偏置。
 
-与 FC 层不同，Linear 层只接受一个 Tensor 的输入。
+Linear 层只接受一个 Tensor 的输入。
 Linear 层将输入 Tensor 与权重矩阵 :math:`W` 相乘，然后生成形状为 :math:`[N，*，output_dim]` 的输出张量，
 其中 :math:`N` 是批量大小，:math:`*` 表示任意数量的附加尺寸。
 如果 bias_attr 不是 None，则将创建一个 bias 变量并将其添加到输出中。
@@ -36,7 +36,7 @@ Linear 层将输入 Tensor 与权重矩阵 :math:`W` 相乘，然后生成形状
 
     from paddle.fluid.dygraph.base import to_variable
     import paddle.fluid as fluid
-    from paddle.fluid.dygraph import FC
+    from paddle.fluid.dygraph import Linear
     import numpy as np
 
     data = np.random.uniform( -1, 1, [30, 10, 32] ).astype('float32')

doc/fluid/api_cn/dygraph_cn/guard_cn.rst

@@ -22,11 +22,11 @@ guard
     import paddle.fluid as fluid
 
     with fluid.dygraph.guard():
-        inp = np.ones([3, 32, 32], dtype='float32')
+        inp = np.ones([3, 1024], dtype='float32')
         t = fluid.dygraph.base.to_variable(inp)
-        fc1 = fluid.FC('fc1', size=4, bias_attr=False, num_flatten_dims=1)
-        fc2 = fluid.FC('fc2', size=4)
-        ret = fc1(t)
-        dy_ret = fc2(ret)
+        linear1 = fluid.Linear(1024, 4, bias_attr=False)
+        linear2 = fluid.Linear(4, 4)
+        ret = linear1(t)
+        dy_ret = linear2(ret)
 
 

doc/fluid/api_cn/dygraph_cn/no_grad_cn.rst

@@ -23,11 +23,11 @@ no_grad
     @fluid.dygraph.no_grad
     def test_layer():
         with fluid.dygraph.guard():
-            inp = np.ones([3, 32, 32], dtype='float32')
+            inp = np.ones([3, 1024], dtype='float32')
             t = fluid.dygraph.base.to_variable(inp)
-            fc1 = fluid.FC('fc1', size=4, bias_attr=False, num_flatten_dims=1)
-            fc2 = fluid.FC('fc2', size=4)
-            ret = fc1(t)
-            dy_ret = fc2(ret)
+            linear1 = fluid.Linear(1024, 4, bias_attr=False)
+            linear2 = fluid.Linear(4, 4)
+            ret = linear1(t)
+            dy_ret = linear2(ret)
 
-    test_layer()
\ No newline at end of file
+    test_layer()

doc/fluid/api_cn/fluid_cn/Variable_cn.rst

@@ -59,14 +59,14 @@ Variable
 
      import paddle.fluid as fluid
      from paddle.fluid.dygraph.base import to_variable
-     from paddle.fluid.dygraph import FC
+     from paddle.fluid.dygraph import Linear
      import numpy as np
 
      data = np.random.uniform(-1, 1, [30, 10, 32]).astype('float32')
      with fluid.dygraph.guard():
-           fc = FC("fc", 64, num_flatten_dims=2)
+           linear = Linear(32, 64)
            data = to_variable(data)
-           x = fc(data)
+           x = linear(data)
            y = x.detach()
 
 .. py:method:: numpy()
@@ -87,14 +87,14 @@ Variable
 
     import paddle.fluid as fluid
     from paddle.fluid.dygraph.base import to_variable
-    from paddle.fluid.dygraph import FC
+    from paddle.fluid.dygraph import Linear
     import numpy as np
 
     data = np.random.uniform(-1, 1, [30, 10, 32]).astype('float32')
     with fluid.dygraph.guard():
-        fc = FC("fc", 64, num_flatten_dims=2)
+        linear = Linear(32, 64)
         data = to_variable(data)
-        x = fc(data)
+        x = linear(data)
         print(x.numpy())
 
 .. py:method:: set_value()
@@ -118,17 +118,17 @@ Variable
 
         import paddle.fluid as fluid
         from paddle.fluid.dygraph.base import to_variable
-        from paddle.fluid.dygraph import FC
+        from paddle.fluid.dygraph import Linear
         import numpy as np
 
-        data = np.ones([3, 32, 32], dtype='float32')
+        data = np.ones([3, 1024], dtype='float32')
         with fluid.dygraph.guard():
-            fc = fluid.dygraph.FC("fc", 4)
+            linear = fluid.dygraph.Linear(1024, 4)
             t = to_variable(data)
-            fc(t)  # 使用默认参数值调用前向
+            linear(t)  # 使用默认参数值调用前向
             custom_weight = np.random.randn(1024, 4).astype("float32")
-            fc.weight.set_value(custom_weight)  # 将参数修改为自定义的值
-            out = fc(t)  # 使用新的参数值调用前向
+            linear.weight.set_value(custom_weight)  # 将参数修改为自定义的值
+            out = linear(t)  # 使用新的参数值调用前向
 
 .. py:method:: backward()
 
@@ -353,18 +353,18 @@ Variable
             value0 = np.arange(26).reshape(2, 13).astype("float32")
             value1 = np.arange(6).reshape(2, 3).astype("float32")
             value2 = np.arange(10).reshape(2, 5).astype("float32")
-            fc = fluid.FC("fc1", size=5, dtype="float32")
-            fc2 = fluid.FC("fc2", size=3, dtype="float32")
+            linear = fluid.Linear(13, 5, dtype="float32")
+            linear2 = fluid.Linear(3, 3, dtype="float32")
             a = fluid.dygraph.to_variable(value0)
             b = fluid.dygraph.to_variable(value1)
             c = fluid.dygraph.to_variable(value2)
-            out1 = fc(a)
-            out2 = fc2(b)
+            out1 = linear(a)
+            out2 = linear2(b)
             out1.stop_gradient = True
             out = fluid.layers.concat(input=[out1, out2, c], axis=1)
             out.backward()
-            # 可以发现这里fc的参数变成了
-            assert (fc._w.gradient() == 0).all()
+            # 可以发现这里linear的参数变成了
+            assert (linear.weight.gradient() == 0).all()
             assert (out1.gradient() == 0).all()
 
 .. py:attribute:: persistable

doc/fluid/api_cn/optimizer_cn/DGCMomentumOptimizer_cn.rst

@@ -107,85 +107,6 @@ DGC还使用动量因子掩藏（momentum factor masking）和预训练（warm-u
 
 详见apply_gradients的示例
 
-
-.. py:method:: load(stat_dict)
-
-在dygraph模式下，附带学习率衰减来加载优化器。
-
-参数：
-    - **stat_dict** – load_persistable方法加载的dict
-
-**代码示例**
-
-.. code-block:: python
-
-    from __future__ import print_function
-    import numpy as np
-    import paddle
-    import paddle.fluid as fluid
-    from paddle.fluid.optimizer import SGDOptimizer
-    from paddle.fluid.dygraph.nn import FC
-    from paddle.fluid.dygraph.base import to_variable
-
-    class MLP(fluid.Layer):
-        def __init__(self, name_scope):
-            super(MLP, self).__init__(name_scope)
-
-            self._fc1 = FC(self.full_name(), 10)
-            self._fc2 = FC(self.full_name(), 10)
-
-        def forward(self, inputs):
-            y = self._fc1(inputs)
-            y = self._fc2(y)
-            return y
-
-    with fluid.dygraph.guard():
-        mlp = MLP('mlp')
-        optimizer2 = SGDOptimizer(
-            learning_rate=fluid.layers.natural_exp_decay(
-            learning_rate=0.1,
-            decay_steps=10000,
-            decay_rate=0.5,
-            staircase=True))
-
-        train_reader = paddle.batch(
-                paddle.dataset.mnist.train(), batch_size=128, drop_last=True)
-
-        for batch_id, data in enumerate(train_reader()):
-            dy_x_data = np.array(
-                    [x[0].reshape(1, 28, 28) for x in data]).astype('float32')
-
-            y_data = np.array([x[1] for x in data]).astype('int64').reshape(
-                    128, 1)
-
-            img = to_variable(dy_x_data)
-            label = to_variable(y_data)
-            label._stop_gradient = True
-            cost = mlp(img)
-            avg_loss = fluid.layers.reduce_mean(cost)
-            avg_loss.backward()
-            optimizer.minimize(avg_loss)
-            mlp.clear_gradients()
-            fluid.dygraph.save_persistables(
-                    mlp.state_dict(), [optimizer, optimizer2], "save_dir_2")
-            if batch_id == 2:
-                    break
-
-    with fluid.dygraph.guard():
-        mlp_load = MLP('mlp')
-        optimizer_load2 = SGDOptimizer(
-                learning_rate=fluid.layers.natural_exp_decay(
-                learning_rate=0.1,
-                decay_steps=10000,
-                decay_rate=0.5,
-                staircase=True))
-        parameters, optimizers = fluid.dygraph.load_persistables(
-            "save_dir_2")
-        mlp_load.load_dict(parameters)
-        optimizer_load2.load(optimizers)
-    self.assertTrue(optimizer2._learning_rate.__dict__ == optimizer_load2._learning_rate.__dict__)
-
-
 .. py:method:: minimize(loss, startup_program=None, parameter_list=None, no_grad_set=None, grad_clip=None)