diff --git a/doc/_sources/build/build_from_source.txt b/doc/_sources/build/build_from_source.txt index f7db0a9b92e67e1ecf5e44f1edb17cb8cacd8d2d..c671f483863c7466a13fac3943e8d58eb74866fc 100644 --- a/doc/_sources/build/build_from_source.txt +++ b/doc/_sources/build/build_from_source.txt @@ -1,5 +1,5 @@ Installing from Sources -========================== +================= * [1. Download and Setup](#download) * [2. Requirements](#requirements) @@ -28,26 +28,51 @@ To compile the source code, your computer must be equipped with GCC >=4.6 or Cla PaddlePaddle supports some build options. To enable it, first you need to install the related libraries. - - - - - - - - - - - - - - - - - - + +
OptionalDescription
WITH_GPUCompile with GPU mode.
WITH_DOUBLECompile with double precision floating-point, default: single precision.
WITH_GLOGCompile with glog. If not found, default: an internal log implementation.
WITH_GFLAGSCompile with gflags. If not found, default: an internal flag implementation.
WITH_TESTINGCompile with gtest for PaddlePaddle's unit testing.
WITH_DOC Compile to generate PaddlePaddle's docs, default: disabled (OFF).
WITH_SWIG_PYCompile with python predict API, default: disabled (OFF).
WITH_STYLE_CHECKCompile with code style check, default: enabled (ON).
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
OptionalDescription
WITH_GPUCompile with GPU mode.
WITH_DOUBLECompile with double precision floating-point, default: single precision.
WITH_GLOGCompile with glog. If not found, default: an internal log implementation.
WITH_GFLAGSCompile with gflags. If not found, default: an internal flag implementation.
WITH_TESTINGCompile with gtest for PaddlePaddle's unit testing.
WITH_DOCCompile to generate PaddlePaddle's docs, default: disabled (OFF)
WITH_SWIG_PYCompile with python predict API, default: disabled (OFF).
WITH_STYLE_CHECKCompile with code style check, default: enabled (ON).
- **Note:** - The GPU version works best with Cuda Toolkit 7.5 and cuDNN v5. @@ -309,4 +334,4 @@ It may require sudo privileges: sudo pip install /opt/paddle/share/wheels/*.whl # or just run sudo paddle version -``` +``` \ No newline at end of file diff --git a/doc/_sources/build/contribute_to_paddle.txt b/doc/_sources/build/contribute_to_paddle.txt index bbdbb4d4227d0b5b8ada00baec7182cedcada861..06fcff61720755432c5618500ac509c5b3f867df 100644 --- a/doc/_sources/build/contribute_to_paddle.txt +++ b/doc/_sources/build/contribute_to_paddle.txt @@ -99,7 +99,3 @@ git pull --rebase upstream HEAD git push -f origin HEAD ``` Now your Pull Request is updated with the latest version. - -## Revise your pull request - -When you revise your pull request according to reviewer's comments, please use 'git commit' instead of 'git commit --amend' to commit your changes so that the reviewers can see the difference between the new pull requrest and the old pull request. diff --git a/doc/_sources/build/docker_install.txt b/doc/_sources/build/docker_install.txt index e95de35f4da35fee511551f13bc6026532cce5c3..3cd9d1730a22b97c208233ad4c6f9bad8038c1bf 100644 --- a/doc/_sources/build/docker_install.txt +++ b/doc/_sources/build/docker_install.txt @@ -1,84 +1,42 @@ Docker installation guide -========================== +==================== +PaddlePaddle provides some pre-compiled binary, including Docker images, ubuntu deb packages. It is welcomed to contributed more installation package of different linux distribution (such as ubuntu, centos, debian, gentoo and so on). We recommend to use Docker images to deploy PaddlePaddle. +## Docker installation -PaddlePaddle provide the `Docker `_ image. `Docker`_ is a lightweight container utilities. The performance of PaddlePaddle in `Docker`_ container is basically as same as run it in a normal linux. The `Docker`_ is a very convenient way to deliver the binary release for linux programs. +Docker is a tool designed to make it easier to create, deploy, and run applications by using containers. -.. note:: +### PaddlePaddle Docker images +There are six Docker images: - The `Docker`_ image is the recommended way to run PaddlePaddle +- paddledev/paddle:cpu-latest: PaddlePaddle CPU binary image. +- paddledev/paddle:gpu-latest: PaddlePaddle GPU binary image. +- paddledev/paddle:cpu-devel-latest: PaddlePaddle CPU binary image plus source code. +- paddledev/paddle:gpu-devel-latest: PaddlePaddle GPU binary image plus source code. +- paddledev/paddle:cpu-demo-latest: PaddlePaddle CPU binary image plus source code and demo +- paddledev/paddle:gpu-demo-latest: PaddlePaddle GPU binary image plus source code and demo -PaddlePaddle Docker images --------------------------- +Tags with latest will be replaced by a released version. -There are 12 `images `_ for PaddlePaddle, and the name is :code:`paddle-dev/paddle`, tags are\: - - -+-----------------+------------------+------------------------+-----------------------+ -| | normal | devel | demo | -+=================+==================+========================+=======================+ -| CPU | cpu-latest | cpu-devel-latest | cpu-demo-latest | -+-----------------+------------------+------------------------+-----------------------+ -| GPU | gpu-latest | gpu-devel-latest | gpu-demo-latest | -+-----------------+------------------+------------------------+-----------------------+ -| CPU WITHOUT AVX | cpu-noavx-latest | cpu-devel-noavx-latest | cpu-demo-noavx-latest | -+-----------------+------------------+------------------------+-----------------------+ -| GPU WITHOUT AVX | gpu-noavx-latest | gpu-devel-noavx-latest | gpu-demo-noavx-latest | -+-----------------+------------------+------------------------+-----------------------+ - -And the three columns are: - -* normal\: The docker image only contains binary of PaddlePaddle. -* devel\: The docker image contains PaddlePaddle binary, source code and essential build environment. -* demo\: The docker image contains the dependencies to run PaddlePaddle demo. - -And the four rows are: - -* CPU\: CPU Version. Support CPU which has :code:`AVX` instructions. -* GPU\: GPU Version. Support GPU, and cpu has :code:`AVX` instructions. -* CPU WITHOUT AVX\: CPU Version, which support most CPU even doesn't have :code:`AVX` instructions. -* GPU WITHOUT AVX\: GPU Version, which support most CPU even doesn't have :code:`AVX` instructions. - -User can choose any version depends on machine. The following script can help you to detect your CPU support :code:`AVX` or not. - -.. code-block:: bash - - if cat /proc/cpuinfo | grep -q avx ; then echo "Support AVX"; else echo "Not support AVX"; fi - -If the output is :code:`Support AVX`, then you can choose the AVX version of PaddlePaddle, otherwise, you need select :code:`noavx` version of PaddlePaddle. For example, the CPU develop version of PaddlePaddle is :code:`paddle-dev/paddle:cpu-devel-latest`. - -The PaddlePaddle images don't contain any entry command. You need to write your entry command to use this image. See :code:`Remote Access` part or just use following command to run a :code:`bash` - -.. code-block:: bash - - docker run -it paddledev/paddle:cpu-latest /bin/bash - - -Download and Run Docker images ------------------------------- +### Download and Run Docker images You have to install Docker in your machine which has linux kernel version 3.10+ first. You can refer to the official guide https://docs.docker.com/engine/installation/ for further information. -You can use :code:`docker pull ` to download images first, or just launch a container with :code:`docker run` \: - -.. code-block:: bash - - docker run -it paddledev/paddle:cpu-latest - +You can use ```docker pull ```to download images first, or just launch a container with ```docker run```: +```bash +docker run -it paddledev/paddle:cpu-latest +``` If you want to launch container with GPU support, you need to set some environment variables at the same time: -.. code-block:: bash - - export CUDA_SO="$(\ls /usr/lib64/libcuda* | xargs -I{} echo '-v {}:{}') $(\ls /usr/lib64/libnvidia* | xargs -I{} echo '-v {}:{}')" - export DEVICES=$(\ls /dev/nvidia* | xargs -I{} echo '--device {}:{}') - docker run ${CUDA_SO} ${DEVICES} -it paddledev/paddle:gpu-latest +```bash +export CUDA_SO="$(\ls /usr/lib64/libcuda* | xargs -I{} echo '-v {}:{}') $(\ls /usr/lib64/libnvidia* | xargs -I{} echo '-v {}:{}" +export DEVICES=$(\ls /dev/nvidia* | xargs -I{} echo '--device {}:{}') +docker run -it paddledev/paddle:gpu-latest +``` +### Notice -Some notes for docker ---------------------- - -Performance -+++++++++++ +#### Performance Since Docker is based on the lightweight virtual containers, the CPU computing performance maintains well. And GPU driver and equipments are all mapped to the container, so the GPU computing performance would not be seriously affected. @@ -87,36 +45,47 @@ If you use high performance nic, such as RDMA(RoCE 40GbE or IB 56GbE), Ethernet( -Remote access -+++++++++++++ - - +#### Remote access If you want to enable ssh access background, you need to build an image by yourself. Please refer to official guide https://docs.docker.com/engine/reference/builder/ for further information. Following is a simple Dockerfile with ssh: +```bash +FROM paddledev/paddle -.. literalinclude:: ../../doc_cn/build_and_install/install/paddle_ssh.Dockerfile +MAINTAINER PaddlePaddle dev team -Then you can build an image with Dockerfile and launch a container: +RUN apt-get update +RUN apt-get install -y openssh-server +RUN mkdir /var/run/sshd +RUN echo 'root:root' | chpasswd -.. code-block:: bash +RUN sed -ri 's/^PermitRootLogin\s+.*/PermitRootLogin yes/' /etc/ssh/sshd_config +RUN sed -ri 's/UsePAM yes/#UsePAM yes/g' /etc/ssh/sshd_config - # cd into Dockerfile directory - docker build . -t paddle_ssh - # run container, and map host machine port 8022 to container port 22 - docker run -d -p 8022:22 --name paddle_ssh_machine paddle_ssh +EXPOSE 22 -Now, you can ssh on port 8022 to access the container, username is root, password is also root: +CMD ["/usr/sbin/sshd", "-D"] +``` -.. code-block:: bash +Then you can build an image with Dockerfile and launch a container: - ssh -p 8022 root@YOUR_HOST_MACHINE +```bash +# cd into Dockerfile directory +docker build . -t paddle_ssh +# run container, and map host machine port 8022 to container port 22 +docker run -d -p 8022:22 --name paddle_ssh_machine paddle_ssh +``` +Now, you can ssh on port 8022 to access the container, username is root, password is also root: -You can stop and delete the container as following: +```bash +ssh -p 8022 root@YOUR_HOST_MACHINE +``` -.. code-block:: bash - # stop - docker stop paddle_ssh_machine - # delete - docker rm paddle_ssh_machine +You can stop and delete the container as following: +```bash +# stop +docker stop paddle_ssh_machine +# delete +docker rm paddle_ssh_machine +``` diff --git a/doc/_sources/build/index.txt b/doc/_sources/build/index.txt index 511cdea145c7fd0e41566d0a85115dbb06f84058..d6d0d19e110fc35faec87da90d784a6775b9c91f 100644 --- a/doc/_sources/build/index.txt +++ b/doc/_sources/build/index.txt @@ -10,20 +10,12 @@ Install PaddlePaddle install_* internal/install_from_jumbo.md - docker_install.rst - ubuntu_install.rst Build from Source ----------------- -.. warning:: - - Please use :code:`deb` package or :code:`docker` image to install paddle. The building guide is used for hacking or contributing to PaddlePaddle. - - If you want to hack and contribute PaddlePaddle source code, following guides can help you\: - .. toctree:: :maxdepth: 1 :glob: @@ -31,3 +23,18 @@ If you want to hack and contribute PaddlePaddle source code, following guides ca build_from_source.md contribute_to_paddle.md +Docker and Debian Package installation +-------------------------------------- + +Note: The installation packages are still in pre-release +state and your experience of installation may not be smooth. + +If you want to pack docker image, the following guide can help you\: + +.. toctree:: + :maxdepth: 1 + :glob: + + docker_install.md + ubuntu_install.md + diff --git a/doc/_sources/build/ubuntu_install.txt b/doc/_sources/build/ubuntu_install.txt index ea8042085bf458be96e71017d229d88ad867695b..c30a8f6db5d9eb83390d9374d27aba46fa42a462 100644 --- a/doc/_sources/build/ubuntu_install.txt +++ b/doc/_sources/build/ubuntu_install.txt @@ -1,25 +1,21 @@ Debian Package installation guide ================================= -PaddlePaddle supports :code:`deb` pacakge. The installation of this :code:`deb` package is tested in ubuntu 14.04, but it should be support other debian based linux, too. +## Debian Package installation +Currently , PaddlePaddle only provides ubuntu14.04 debian packages. +There are two versions package, including CPU and GPU. The download address is: -There are four versions of debian package, :code:`cpu`, :code:`gpu`, :code:`cpu-noavx`, :code:`gpu-noavx`. And :code:`noavx` version is used to support CPU which does not contain :code:`AVX` instructions. The download url of :code:`deb` package is \: https://github.com/baidu/Paddle/releases/ +https://github.com/baidu/Paddle/releases/tag/V0.8.0b0 -After downloading PaddlePaddle deb packages, you can use :code:`gdebi` install. - -.. code-block:: bash - - gdebi paddle-*.deb - -If :code:`gdebi` is not installed, you can use :code:`sudo apt-get install gdebi` to install it. - -Or you can use following commands to install PaddlePaddle. - -.. code-block:: bash - - dpkg -i paddle-*.deb - apt-get install -f +After downloading PaddlePaddle deb packages, you can run: +```bash +dpkg -i paddle-0.8.0b-cpu.deb +apt-get install -f +``` And if you use GPU version deb package, you need to install CUDA toolkit and cuDNN, and set related environment variables(such as LD_LIBRARY_PATH) first. It is normal when `dpkg -i` get errors. `apt-get install -f` will continue install paddle, and install dependences. +**Note** + +PaddlePaddle package only supports x86 CPU with AVX instructions. If not, you have to download and build from source code. diff --git a/doc/_sources/demo/quick_start/index_en.txt b/doc/_sources/demo/quick_start/index_en.txt index e7d74512292c89233373c48d05895794d56702d8..ee3fa2a2166f497524663574270b239a6170ab19 100644 --- a/doc/_sources/demo/quick_start/index_en.txt +++ b/doc/_sources/demo/quick_start/index_en.txt @@ -134,7 +134,7 @@ def process(settings, file_name): You need to add a data provider definition `define_py_data_sources2` in our network configuration. This definition specifies: - The path of the training and testing data (`data/train.list`, `data/test.list`). -- The location of the data provider file (`dataprovider_bow`). +- The location of the data provider file (`dataprovider_pow`). - The function to call to get data. (`process`). - Additional arguments or data. Here it passes the path of word dictionary. diff --git a/doc/_sources/ui/api/trainer_config_helpers/layers.txt b/doc/_sources/ui/api/trainer_config_helpers/layers.txt index 5bb88b0615c12a44e1506e0bdbb974c16f5584ea..c1d7a7ce815301be7d4193560fc6c27d90cf6e69 100644 --- a/doc/_sources/ui/api/trainer_config_helpers/layers.txt +++ b/doc/_sources/ui/api/trainer_config_helpers/layers.txt @@ -73,12 +73,6 @@ img_pool_layer :members: img_pool_layer :noindex: -maxout_layer ------------- -.. automodule:: paddle.trainer_config_helpers.layers - :members: maxout_layer - :noindex: - Norm Layer ========== @@ -136,12 +130,6 @@ gru_step_layer Recurrent Layer Group ===================== -memory ------- -.. automodule:: paddle.trainer_config_helpers.layers - :members: memory - :noindex: - recurrent_group --------------- .. automodule:: paddle.trainer_config_helpers.layers @@ -383,12 +371,6 @@ ctc_layer :members: ctc_layer :noindex: -nce_layer ------------ -.. automodule:: paddle.trainer_config_helpers.layers - :members: nce_layer - :noindex: - hsigmoid --------- .. automodule:: paddle.trainer_config_helpers.layers diff --git a/doc/build/build_from_source.html b/doc/build/build_from_source.html index 6c23f5a3dcb640ab4de08276764b00bcec618202..66ac23d7155f6a3f7d72e1ec1c35aac5778e72ce 100644 --- a/doc/build/build_from_source.html +++ b/doc/build/build_from_source.html @@ -31,7 +31,7 @@ - + - - - - - - - - - - - - - -
-
-
-
- -
-

支持双层序列作为输入的Layer

-
-

概述

-

在自然语言处理任务中，序列是一种常见的数据类型。一个独立的词语，可以看作是一个非序列输入，或者，我们称之为一个0层的序列；由词语构成的句子，是一个单层序列；若干个句子构成一个段落，是一个双层的序列。

-

双层序列是一个嵌套的序列，它的每一个元素，又是一个单层的序列。这是一种非常灵活的数据组织方式，帮助我们构造一些复杂的输入信息。

-

我们可以按照如下层次定义非序列，单层序列，以及双层序列。

-
    -
  • 0层序列：一个独立的元素，类型可以是PaddlePaddle支持的任意输入数据类型
    • -
  • 单层序列：排成一列的多个元素，每个元素是一个0层序列，元素之间的顺序是重要的输入信息
    • -
  • 双层序列：排成一列的多个元素，每个元素是一个单层序列，称之为双层序列的一个子序列（subseq），subseq的每个元素是一个0层序列
    • -
-

在 PaddlePaddle中，下面这些Layer能够接受双层序列作为输入，完成相应的计算。

-
-
-

pooling_layer

-

pooling_layer的使用示例如下，详细见配置API。

-
seq_pool = pooling_layer(input=layer,
-                         pooling_type=AvgPooling(),
-                         agg_level=AggregateLevel.EACH_SEQUENCE)
-
-
-
    -
  • pooling_type 目前支持两种，分别是：MaxPooling()和AvgPooling()。
    • -
  • agg_level=AggregateLevel.TIMESTEP时（默认值）：
      -
    • 作用：双层序列经过运算变成一个0层序列，或单层序列经过运算变成一个0层序列
      • -
    • 输入：一个双层序列，或一个单层序列
      • -
    • 输出：一个0层序列，即整个输入序列（单层或双层）的平均值（或最大值）
      • -
    -
    • -
  • agg_level=AggregateLevel.EACH_SEQUENCE时：
      -
    • 作用：一个双层序列经过运算变成一个单层序列
      • -
    • 输入：必须是一个双层序列
      • -
    • 输出：一个单层序列，序列的每个元素是原来双层序列每个subseq元素的平均值（或最大值）
      • -
    -
    • -
-
-
-

last_seq 和 first_seq

-

last_seq的使用示例如下（first_seq类似），详细见配置API。

-
last = last_seq(input=layer,
-                agg_level=AggregateLevel.EACH_SEQUENCE)
-
-
-
    -
  • agg_level=AggregateLevel.TIMESTEP时（默认值）：
      -
    • 作用：一个双层序列经过运算变成一个0层序列，或一个单层序列经过运算变成一个0层序列
      • -
    • 输入：一个双层序列或一个单层序列
      • -
    • 输出：一个0层序列，即整个输入序列（双层或者单层）最后一个，或第一个元素。
      • -
    -
    • -
  • agg_level=AggregateLevel.EACH_SEQUENCE时：
      -
    • 作用：一个双层序列经过运算变成一个单层序列
      • -
    • 输入：必须是一个双层序列
      • -
    • 输出：一个单层序列，其中每个元素是双层序列中每个subseq最后一个（或第一个）元素。
      • -
    -
    • -
-
-
-

expand_layer

-

expand_layer的使用示例如下，详细见配置API。

-
expand = expand_layer(input=layer1,
-                      expand_as=layer2,
-                      expand_level=ExpandLevel.FROM_TIMESTEP)
-
-
-
    -
  • expand_level=ExpandLevel.FROM_TIMESTEP时（默认值）：
      -
    • 作用：一个0层序列经过运算扩展成一个单层序列，或者一个双层序列
      • -
    • 输入：layer1必须是一个0层序列，是待扩展的数据；layer2可以是一个单层序列，或者是一个双层序列，提供扩展的长度信息
      • -
    • 输出：一个单层序列，或一个双层序列，输出序列的类型（双层序列，或单层序列）和序列中含有元素的数目同 layer2一致。若输出是单层序列，单层序列的每个元素（0层序列），都是对layer1元素的拷贝；若输出是双层序列，双层序列每个subseq中每个元素（0层序列），都是对layer1元素的拷贝
      • -
    -
    • -
  • expand_level=ExpandLevel.FROM_SEQUENCE时：
      -
    • 作用：一个单层序列经过运算扩展成一个双层序列
      • -
    • 输入：layer1必须是一个单层序列，是待扩展的数据；layer2必须是一个双层序列，提供扩展的长度信息
      • -
    • 输出：一个双层序列，序列中含有元素的数目同layer2一致。要求单层序列含有元素的数目（0层序列），和双层序列含有subseq 的数目一致。单层序列第i个元素（0层序列），被扩展为一个单层序列，构成了输出双层序列的第i个subseq。
      • -
    -
    • -
-
-
- - -
-
-
- -
-
- - - - \ No newline at end of file diff --git a/doc_cn/algorithm/rnn/hierarchical-rnn.html b/doc_cn/algorithm/rnn/hierarchical-rnn.html deleted file mode 100644 index 3d1567d34329102eb4160c126563d63b8f09da09..0000000000000000000000000000000000000000 --- a/doc_cn/algorithm/rnn/hierarchical-rnn.html +++ /dev/null @@ -1,551 +0,0 @@ - - - - - - - - - - 双层RNN配置与示例 — PaddlePaddle documentation - - - - - - - - - - - - - - - - - - -
-
-
-
- -
-

双层RNN配置与示例

-

我们在paddle/gserver/tests/test_RecurrentGradientMachine单测中，通过多组语义相同的单双层RNN配置，讲解如何使用双层RNN。

-
-

示例1：双进双出，subseq间无memory

-

配置：单层RNN（sequence_layer_group）和双层RNN（sequence_nest_layer_group），语义完全相同。

-
-

读取双层序列的方法

-

首先，我们看一下单双层序列的不同数据组织形式（您也可以采用别的组织形式）：

-
    -
  • 单层序列的数据（Sequence/tour_train_wdseg）如下，一共有10个样本。每个样本由两部分组成，一个label（此处都为2）和一个已经分词后的句子。
    • -
-
2   酒店 有 很 舒适 的 床垫 子 ， 床上用品 也 应该 是 一人 一 换 ， 感觉 很 利落 对 卫生 很 放心 呀 。
-2   很 温馨 ， 也 挺 干净 的 * 地段 不错 ， 出来 就 有 全家 ， 离 地铁站 也 近 ， 交通 很方便 * 就是 都 不 给 刷牙 的 杯子 啊 ， 就 第一天 给 了 一次性杯子 *
-2   位置 方便 ， 强烈推荐 ， 十一 出去玩 的 时候 选 的 ， 对面 就是 华润万家 ， 周围 吃饭 的 也 不少 。
-2   交通便利 ， 吃 很 便利 ， 乾 浄 、 安静 ， 商务 房 有 电脑 、 上网 快 ， 价格 可以 ， 就 早餐 不 好吃 。 整体 是 不错 的 。 適 合 出差 來 住 。
-2   本来 准备 住 两 晚 ， 第 2 天 一早 居然 停电 ， 且 无 通知 ， 只有 口头 道歉 。 总体来说 性价比 尚可 ， 房间 较 新 ， 还是 推荐 .
-2   这个 酒店 去过 很多 次 了 ， 选择 的 主要原因 是 离 客户 最 便宜 相对 又 近 的 酒店
-2   挺好 的 汉庭 ， 前台 服务 很 热情 ， 卫生 很 整洁 ， 房间 安静 ， 水温 适中 ， 挺好 ！
-2   HowardJohnson 的 品质 ， 服务 相当 好 的 一 家 五星级 。 房间 不错 、 泳池 不错 、 楼层 安排 很 合理 。 还有 就是 地理位置 ， 简直 一 流 。 就 在 天一阁 、 月湖 旁边 ， 离 天一广场 也 不远 。 下次 来 宁波 还会 住 。
-2   酒店 很干净 ， 很安静 ， 很 温馨 ， 服务员 服务 好 ， 各方面 都 不错 *
-2   挺好 的 ， 就是 没 窗户 ， 不过 对 得 起 这 价格
-
-
-
    -
  • 双层序列的数据（Sequence/tour_train_wdseg.nest）如下，一共有4个样本。样本间用空行分开，代表不同的双层序列，序列数据和上面的完全一样。每个样本的子句数分别为2,3,2,3。
    • -
-
2   酒店 有 很 舒适 的 床垫 子 ， 床上用品 也 应该 是 一人 一 换 ， 感觉 很 利落 对 卫生 很 放心 呀 。
-2   很 温馨 ， 也 挺 干净 的 * 地段 不错 ， 出来 就 有 全家 ， 离 地铁站 也 近 ， 交通 很方便 * 就是 都 不 给 刷牙 的 杯子 啊 ， 就 第一天 给 了 一次性杯子 *
-
-2   位置 方便 ， 强烈推荐 ， 十一 出去玩 的 时候 选 的 ， 对面 就是 华润万家 ， 周围 吃饭 的 也 不少 。
-2   交通便利 ， 吃 很 便利 ， 乾 浄 、 安静 ， 商务 房 有 电脑 、 上网 快 ， 价格 可以 ， 就 早餐 不 好吃 。 整体 是 不错 的 。 適 合 出差 來 住 。
-2   本来 准备 住 两 晚 ， 第 2 天 一早 居然 停电 ， 且 无 通知 ， 只有 口头 道歉 。 总体来说 性价比 尚可 ， 房间 较 新 ， 还是 推荐 .
-
-2   这个 酒店 去过 很多 次 了 ， 选择 的 主要原因 是 离 客户 最 便宜 相对 又 近 的 酒店
-2   挺好 的 汉庭 ， 前台 服务 很 热情 ， 卫生 很 整洁 ， 房间 安静 ， 水温 适中 ， 挺好 ！
-
-2   HowardJohnson 的 品质 ， 服务 相当 好 的 一 家 五星级 。 房间 不错 、 泳池 不错 、 楼层 安排 很 合理 。 还有 就是 地理位置 ， 简直 一 流 。 就 在 天一阁 、 月湖 旁边 ， 离 天一广场 也 不远 。 下次 来 宁波 还会 住 。
-2   酒店 很干净 ， 很安静 ， 很 温馨 ， 服务员 服务 好 ， 各方面 都 不错 *
-2   挺好 的 ， 就是 没 窗户 ， 不过 对 得 起 这 价格
-
-
-

其次，我们看一下单双层序列的不同dataprovider（见sequenceGen.py）：

-
    -
  • 单层序列的dataprovider如下：
      -
    • word_slot是integer_value_sequence类型，代表单层序列。
      • -
    • label是integer_value类型，代表一个向量。
      • -
    -
    • -
-
def hook(settings, dict_file, **kwargs):
-    settings.word_dict = dict_file
-    settings.input_types = [integer_value_sequence(len(settings.word_dict)), 
-                            integer_value(3)]
-
-@provider(init_hook=hook)
-def process(settings, file_name):
-    with open(file_name, 'r') as fdata:
-        for line in fdata:
-            label, comment = line.strip().split('\t')
-            label = int(''.join(label.split()))
-            words = comment.split()
-            word_slot = [settings.word_dict[w] for w in words if w in settings.word_dict]
-            yield word_slot, label
-
-
-
    -
  • 双层序列的dataprovider如下：
      -
    • word_slot是integer_value_sub_sequence类型，代表双层序列。
      • -
    • label是integer_value_sequence类型，代表单层序列，即一个子句一个label。注意：也可以为integer_value类型，代表一个向量，即一个句子一个label。通常根据任务需求进行不同设置。
      • -
    • 关于dataprovider中input_types的详细用法，参见PyDataProvider2。
      • -
    -
    • -
-
def hook2(settings, dict_file, **kwargs):
-    settings.word_dict = dict_file
-    settings.input_types = [integer_value_sub_sequence(len(settings.word_dict)),
-                            integer_value_sequence(3)]
-
-@provider(init_hook=hook2)
-def process2(settings, file_name):
-    with open(file_name) as fdata:
-        label_list = []
-        word_slot_list = []
-        for line in fdata:
-            if (len(line)) > 1:
-                label,comment = line.strip().split('\t')
-                label = int(''.join(label.split()))
-                words = comment.split()
-                word_slot = [settings.word_dict[w] for w in words if w in settings.word_dict]
-                label_list.append(label)
-                word_slot_list.append(word_slot)
-            else:
-                yield word_slot_list, label_list
-                label_list = []
-                word_slot_list = []
-
-
-
-
-

模型中的配置

-

首先，我们看一下单层序列的配置（见sequence_layer_group.conf）。注意：batchsize=5表示一次过5句单层序列，因此2个batch就可以完成1个pass。

-
settings(batch_size=5)
-
-data = data_layer(name="word", size=dict_dim)
-
-emb = embedding_layer(input=data, size=word_dim)
-
-# (lstm_input + lstm) is equal to lstmemory 
-with mixed_layer(size=hidden_dim*4) as lstm_input:
-    lstm_input += full_matrix_projection(input=emb)
-
-lstm = lstmemory_group(input=lstm_input,
-                       size=hidden_dim,
-                       act=TanhActivation(),
-                       gate_act=SigmoidActivation(),
-                       state_act=TanhActivation(),
-                       lstm_layer_attr=ExtraLayerAttribute(error_clipping_threshold=50))
-
-lstm_last = last_seq(input=lstm)
-
-with mixed_layer(size=label_dim, 
-                 act=SoftmaxActivation(), 
-                 bias_attr=True) as output:
-    output += full_matrix_projection(input=lstm_last)
-
-outputs(classification_cost(input=output, label=data_layer(name="label", size=1)))
-
-
-
-

其次，我们看一下语义相同的双层序列配置（见sequence_nest_layer_group.conf），并对其详细分析：

-
    -
  • batchsize=2表示一次过2句双层序列。但从上面的数据格式可知，2句双层序列和5句单层序列的数据完全一样。
    • -
  • data_layer和embedding_layer不关心数据是否是序列格式，因此两个配置在这两层上的输出是一样的。
    • -
  • lstmemory:
      -
    • 单层序列过了一个mixed_layer和lstmemory_group。
      • -
    • 双层序列在同样的mixed_layer和lstmemory_group外，直接加了一层group。由于这个外层group里面没有memory，表示subseq间不存在联系，即起到的作用仅仅是把双层seq拆成单层，因此双层序列过完lstmemory的输出和单层的一样。
      • -
    -
    • -
  • last_seq：
      -
    • 单层序列直接取了最后一个元素
      • -
    • 双层序列首先（last_seq层）取了每个subseq的最后一个元素，将其拼接成一个新的单层序列；接着（expand_layer层）将其扩展成一个新的双层序列，其中第i个subseq中的所有向量均为输入的单层序列中的第i个向量；最后（average_layer层）取了每个subseq的平均值。
      • -
    • 分析得出：第一个last_seq后，每个subseq的最后一个元素就等于单层序列的最后一个元素，而expand_layer和average_layer后，依然保持每个subseq最后一个元素的值不变（这两层仅是为了展示它们的用法，实际中并不需要）。因此单双层序列的输出是一样旳。
      • -
    -
    • -
-
settings(batch_size=2)
-
-data = data_layer(name="word", size=dict_dim)
-
-emb_group = embedding_layer(input=data, size=word_dim)
-
-# (lstm_input + lstm) is equal to lstmemory 
-def lstm_group(lstm_group_input):
-    with mixed_layer(size=hidden_dim*4) as group_input:
-      group_input += full_matrix_projection(input=lstm_group_input)
-
-    lstm_output = lstmemory_group(input=group_input,
-                                  name="lstm_group",
-                                  size=hidden_dim,
-                                  act=TanhActivation(),
-                                  gate_act=SigmoidActivation(),
-                                  state_act=TanhActivation(),
-                                  lstm_layer_attr=ExtraLayerAttribute(error_clipping_threshold=50))
-    return lstm_output
-
-lstm_nest_group = recurrent_group(input=SubsequenceInput(emb_group),
-                                  step=lstm_group,
-                                  name="lstm_nest_group")
-# hasSubseq ->(seqlastins) seq
-lstm_last = last_seq(input=lstm_nest_group, agg_level=AggregateLevel.EACH_SEQUENCE)
-
-# seq ->(expand) hasSubseq
-lstm_expand = expand_layer(input=lstm_last, expand_as=emb_group, expand_level=ExpandLevel.FROM_SEQUENCE)
-
-# hasSubseq ->(average) seq
-lstm_average = pooling_layer(input=lstm_expand,
-                             pooling_type=AvgPooling(),
-                             agg_level=AggregateLevel.EACH_SEQUENCE)
-
-with mixed_layer(size=label_dim, 
-                 act=SoftmaxActivation(), 
-                 bias_attr=True) as output:
-    output += full_matrix_projection(input=lstm_average)
-
-outputs(classification_cost(input=output, label=data_layer(name="label", size=1)))
-
-
-
-
-
-

示例2：双进双出，subseq间有memory

-

配置：单层RNN（sequence_rnn.conf），双层RNN（sequence_nest_rnn.conf和sequence_nest_rnn_readonly_memory.conf），语义完全相同。

-
-

读取双层序列的方法

-

我们看一下单双层序列的不同数据组织形式和dataprovider（见rnn_data_provider.py）

-
data = [
-    [[[1, 3, 2], [4, 5, 2]], 0],
-    [[[0, 2], [2, 5], [0, 1, 2]], 1],
-]
-
-@provider(input_types=[integer_value_sub_sequence(10),
-                       integer_value(3)])
-def process_subseq(settings, file_name):
-    for d in data:
-        yield d
-
-@provider(input_types=[integer_value_sequence(10),
-                       integer_value(3)])
-def process_seq(settings, file_name):
-    for d in data:
-        seq = []
-
-
-
    -
  • 单层序列：有两句，分别为[1,3,2,4,5,2]和[0,2,2,5,0,1,2]。
    • -
  • 双层序列：有两句，分别为[[1,3,2],[4,5,2]]（2个子句）和[[0,2],[2,5],[0,1,2]]（3个子句）。
    • -
  • 单双层序列的label都分别是0和1
    • -
-
-
-

模型中的配置

-

我们选取单双层序列配置中的不同部分，来对比分析两者语义相同的原因。

-
    -
  • 单层序列：过了一个很简单的recurrent_group。每一个时间步，当前的输入y和上一个时间步的输出rnn_state做了一个全链接。
    • -
-
def step(y):
-    mem = memory(name="rnn_state", size=hidden_dim)
-    return fc_layer(input=[y, mem],
-                    size=hidden_dim,
-                    act=TanhActivation(),
-                    bias_attr=True,
-                    name="rnn_state")
-
-out = recurrent_group(step=step, input=emb)
-
-
-
    -
  • 双层序列，外层memory是一个元素：
      -
    • 内层inner_step的recurrent_group和单层序列的几乎一样。除了boot_layer=outer_mem，表示将外层的outer_mem作为内层memory的初始状态。外层outer_step中，outer_mem是一个子句的最后一个向量，即整个双层group是将前一个子句的最后一个向量，作为下一个子句memory的初始状态。
      • -
    • 从输入数据上看，单双层序列的句子是一样的，只是双层序列将其又做了子序列划分。因此双层序列的配置中，必须将前一个子句的最后一个元素，作为boot_layer传给下一个子句的memory，才能保证和单层序列的配置中“每一个时间步都用了上一个时间步的输出结果”一致。
      • -
    -
    • -
-
def outer_step(x):
-    outer_mem = memory(name="outer_rnn_state", size=hidden_dim)
-    def inner_step(y):
-        inner_mem = memory(name="inner_rnn_state",
-                           size=hidden_dim,
-                           boot_layer=outer_mem)
-        return fc_layer(input=[y, inner_mem],
-                        size=hidden_dim,
-                        act=TanhActivation(),
-                        bias_attr=True,
-                        name="inner_rnn_state")
-
-    inner_rnn_output = recurrent_group(
-        step=inner_step,
-        input=x)
-    last = last_seq(input=inner_rnn_output, name="outer_rnn_state")
-
-    return inner_rnn_output
-
-out = recurrent_group(step=outer_step, input=SubsequenceInput(emb))
-
-
-
    -
  • 双层序列，外层memory是单层序列：
      -
    • 由于外层每个时间步返回的是一个子句，这些子句的长度往往不等长。因此当外层有is_seq=True的memory时，内层是无法直接使用它的，即内层memory的boot_layer不能链接外层的这个memory。
      • -
    • 如果内层memory想间接使用这个外层memory，只能通过pooling_layer、last_seq或first_seq这三个layer将它先变成一个元素。但这种情况下，外层memory必须有boot_layer，否则在第0个时间步时，由于外层memory没有任何seq信息，因此上述三个layer的前向会报出“Check failed: input.sequenceStartPositions”的错误。
      • -
    -
    • -
-
-
-
-

示例3：双进双出，输入不等长

-

输入不等长是指recurrent_group的多个输入在各时刻的长度可以不相等, 但需要指定一个和输出长度一致的input，用targetInlink表示。参考配置：单层RNN（sequence_rnn_multi_unequalength_inputs.conf），双层RNN（sequence_nest_rnn_multi_unequalength_inputs.conf）

-
-

读取双层序列的方法

-

我们看一下单双层序列的数据组织形式和dataprovider（见rnn_data_provider.py）

-
data2 = [
-    [[[1, 2], [4, 5, 2]], [[5, 4, 1], [3, 1]] ,0],
-    [[[0, 2], [2, 5], [0, 1, 2]],[[1, 5], [4], [2, 3, 6, 1]], 1],
-]
-
-@provider(input_types=[integer_value_sub_sequence(10),
-                       integer_value_sub_sequence(10),
-                       integer_value(2)],
-          should_shuffle=False)
-def process_unequalength_subseq(settings, file_name): #双层RNN的dataprovider
-    for d in data2:
-        yield d
-
-
-@provider(input_types=[integer_value_sequence(10),
-                       integer_value_sequence(10),
-                       integer_value(2)],
-          should_shuffle=False)
-def process_unequalength_seq(settings, file_name): #单层RNN的dataprovider
-    for d in data2:
-        words1=reduce(lambda x,y: x+y, d[0])
-        words2=reduce(lambda x,y: x+y, d[1])
-        yield words1, words2, d[2]
-
-
-

data2 中有两个样本，每个样本有两个特征, 记fea1, fea2。

-
    -
  • 单层序列：两个样本分别为[[1, 2, 4, 5, 2], [5, 4, 1, 3, 1]] 和 [[0, 2, 2, 5, 0, 1, 2], [1, 5, 4, 2, 3, 6, 1]]
    • -
  • 双层序列：两个样本分别为
      -
    • 样本1：[[[1, 2], [4, 5, 2]], [[5, 4, 1], [3, 1]]]。fea1和fea2都分别有2个子句，fea1=[[1, 2], [4, 5, 2]], fea2=[[5, 4, 1], [3, 1]]
      • -
    • 样本2：[[[0, 2], [2, 5], [0, 1, 2]],[[1, 5], [4], [2, 3, 6, 1]]]。fea1和fea2都分别有3个子句， fea1=[[0, 2], [2, 5], [0, 1, 2]], fea2=[[1, 5], [4], [2, 3, 6, 1]]。
      • -
    • 注意：每个样本中，各特征的子句数目需要相等。这里说的“双进双出，输入不等长”是指fea1在i时刻的输入的长度可以不等于fea2在i时刻的输入的长度。如对于第1个样本，时刻i=2, fea1[2]=[4, 5, 2]，fea2[2]=[3, 1]，3≠2。
      • -
    -
    • -
  • 单双层序列中，两个样本的label都分别是0和1
    • -
-
-
-

模型中的配置

-

单层RNN（sequence_rnn_multi_unequalength_inputs.conf）和双层RNN（sequence_nest_rnn_multi_unequalength_inputs.conf）两个模型配置达到的效果完全一样，区别只在于输入为单层还是双层序列，现在我们来看它们内部分别是如何实现的。

-
    -
  • 单层序列：
      -
    • 过了一个简单的recurrent_group。每一个时间步，当前的输入y和上一个时间步的输出rnn_state做了一个全连接，功能与示例2中sequence_rnn.conf的step函数完全相同。这里，两个输入x1,x2分别通过calrnn返回最后时刻的状态。结果得到的encoder1_rep和encoder2_rep分别是单层序列，最后取encoder1_rep的最后一个时刻和encoder2_rep的所有时刻分别相加得到context。
      • -
    • 注意到这里recurrent_group输入的每个样本中，fea1和fea2的长度都分别相等，这并非偶然，而是因为recurrent_group要求输入为单层序列时，所有输入的长度都必须相等。
      • -
    -
    • -
-
def step(x1, x2):
-    def calrnn(y):
-        mem = memory(name = 'rnn_state_' + y.name, size = hidden_dim)
-        out = fc_layer(input = [y, mem],
-            size = hidden_dim,
-            act = TanhActivation(),
-            bias_attr = True,
-            name = 'rnn_state_' + y.name)
-        return out
-
-    encoder1 = calrnn(x1)
-    encoder2 = calrnn(x2)
-    return [encoder1, encoder2]
-    
-encoder1_rep, encoder2_rep = recurrent_group(
-    name="stepout",                           
-    step=step,
-    input=[emb1, emb2])
-
-encoder1_last = last_seq(input = encoder1_rep)                           
-encoder1_expandlast = expand_layer(input = encoder1_last,
-                                   expand_as = encoder2_rep)
-context = mixed_layer(input = [identity_projection(encoder1_expandlast),
-                               identity_projection(encoder2_rep)],
-                      size = hidden_dim)
-
-
-
    -
  • 双层序列：
      -
    • 双层RNN中，对输入的两个特征分别求时序上的连续全连接(inner_step1和inner_step2分别处理fea1和fea2)，其功能与示例2中sequence_nest_rnn.conf的outer_step函数完全相同。不同之处是，此时输入[SubsequenceInput(emb1), SubsequenceInput(emb2)]在各时刻并不等长。
      • -
    • 函数outer_step中可以分别处理这两个特征，但我们需要用targetInlink指定recurrent_group的输出的格式（各子句长度）只能和其中一个保持一致，如这里选择了和emb2的长度一致。
      • -
    • 最后，依然是取encoder1_rep的最后一个时刻和encoder2_rep的所有时刻分别相加得到context。
      • -
    -
    • -
-
def outer_step(x1, x2):
-    outer_mem1 = memory(name = "outer_rnn_state1", size = hidden_dim)
-    outer_mem2 = memory(name = "outer_rnn_state2", size = hidden_dim)
-    def inner_step1(y):
-        inner_mem = memory(name = 'inner_rnn_state_' + y.name,
-                           size = hidden_dim,
-                           boot_layer = outer_mem1)
-        out = fc_layer(input = [y, inner_mem],
-                       size = hidden_dim,
-                       act = TanhActivation(),
-                       bias_attr = True,
-                       name = 'inner_rnn_state_' + y.name)
-        return out
-
-    def inner_step2(y):
-        inner_mem = memory(name = 'inner_rnn_state_' + y.name,
-                           size = hidden_dim,
-                           boot_layer = outer_mem2)
-        out = fc_layer(input = [y, inner_mem],
-                       size = hidden_dim,
-                       act = TanhActivation(),
-                       bias_attr = True,
-                       name = 'inner_rnn_state_' + y.name)
-        return out
-
-    encoder1 = recurrent_group(
-        step = inner_step1,
-        name = 'inner1',
-        input = x1)
-
-    encoder2 = recurrent_group(
-        step = inner_step2,
-        name = 'inner2',
-        input = x2)
-
-    sentence_last_state1 = last_seq(input = encoder1, name = 'outer_rnn_state1')
-    sentence_last_state2_ = last_seq(input = encoder2, name = 'outer_rnn_state2')
-
-    encoder1_expand = expand_layer(input = sentence_last_state1,
-                                   expand_as = encoder2)
-
-    return [encoder1_expand, encoder2]
-
-encoder1_rep, encoder2_rep = recurrent_group(
-    name="outer",
-    step=outer_step,
-    input=[SubsequenceInput(emb1), SubsequenceInput(emb2)],
-    targetInlink=emb2)
-
-encoder1_last = last_seq(input = encoder1_rep)
-encoder1_expandlast = expand_layer(input = encoder1_last,
-                                   expand_as = encoder2_rep)
-context = mixed_layer(input = [identity_projection(encoder1_expandlast),
-                               identity_projection(encoder2_rep)],
-                      size = hidden_dim)
-
-
-
-
- -
- - -
-
-
- -
-
- - - - \ No newline at end of file diff --git a/doc_cn/algorithm/rnn/rnn-tutorial.html b/doc_cn/algorithm/rnn/rnn-tutorial.html deleted file mode 100644 index ed86662eccb302097158f574c808e892e380a7b0..0000000000000000000000000000000000000000 --- a/doc_cn/algorithm/rnn/rnn-tutorial.html +++ /dev/null @@ -1,222 +0,0 @@ - - - - - - - - - - Recurrent Group教程 — PaddlePaddle documentation - - - - - - - - - - - - - - - - - - -
-
-
-
- -
-

Recurrent Group教程

-
-

概述

-

序列数据是自然语言处理任务面对的一种主要输入数据类型。

-

一句话是由词语构成的序列，多句话进一步构成了段落。因此，段落可以看作是一个嵌套的双层的序列，这个序列的每个元素又是一个序列。

-

双层序列是PaddlePaddle支持的一种非常灵活的数据组织方式，帮助我们更好地描述段落、多轮对话等更为复杂的语言数据。基于双层序列输入，我们可以设计搭建一个灵活的、层次化的RNN，分别从词语和句子级别编码输入数据，同时也能够引入更加复杂的记忆机制，更好地完成一些复杂的语言理解任务。

-

在PaddlePaddle中，recurrent_group是一种任意复杂的RNN单元，用户只需定义RNN在一个时间步内完成的计算，PaddlePaddle负责完成信息和误差在时间序列上的传播。

-

更进一步，recurrent_group同样可以扩展到双层序列的处理上。通过两个嵌套的recurrent_group分别定义子句级别和词语级别上需要完成的运算，最终实现一个层次化的复杂RNN。

-

目前，在PaddlePaddle中，能够对双向序列进行处理的有recurrent_group和部分Layer，具体可参考文档：支持双层序列作为输入的Layer。

-
-
-

相关概念

-
-

基本原理

-

recurrent_group 是PaddlePaddle支持的一种任意复杂的RNN单元。使用者只需要关注于设计RNN在一个时间步之内完成的计算，PaddlePaddle负责完成信息和梯度在时间序列上的传播。

-

PaddlePaddle中，recurrent_group的一个简单调用如下：

-
recurrent_group(step, input, reverse)
-
-
-
    -
  • step：一个可调用的函数，定义一个时间步之内RNN单元完成的计算
    • -
  • input：输入，必须是一个单层序列，或者一个双层序列
    • -
  • reverse：是否以逆序处理输入序列
    • -
-

使用recurrent_group的核心是设计step函数的计算逻辑。step函数内部可以自由组合PaddlePaddle支持的各种layer，完成任意的运算逻辑。recurrent_group 的输入（即input）会成为step函数的输入，由于step 函数只关注于RNN一个时间步之内的计算，在这里recurrent_group替我们完成了原始输入数据的拆分。

-
-
-

输入

-

recurrent_group处理的输入序列主要分为以下三种类型：

-
    -
  • 数据输入：一个双层序列进入recurrent_group会被拆解为一个单层序列，一个单层序列进入recurrent_group会被拆解为非序列，然后交给step函数，这一过程对用户是完全透明的。可以有以下两种：1）通过data_layer拿到的用户输入；2）其它layer的输出。
    • -
  • 只读Memory输入：StaticInput 定义了一个只读的Memory，由StaticInput指定的输入不会被recurrent_group拆解，recurrent_group 循环展开的每个时间步总是能够引用所有输入，可以是一个非序列，或者一个单层序列。
    • -
  • 序列生成任务的输入：GeneratedInput只用于在序列生成任务中指定输入数据。
    • -
-
-
-

输入示例

-

序列生成任务大多遵循encoder-decoer架构，encoder和decoder可以是能够处理序列的任意神经网络单元，而RNN是最流行的选择。

-

给定encoder输出和当前词，decoder每次预测产生下一个最可能的词语。在这种结构中，decoder接受两个输入：

-
    -
  • 要生成的目标序列：是decoder的数据输入，也是decoder循环展开的依据，recurrent_group会对这类输入进行拆解。
    • -
  • encoder输出，可以是一个非序列，或者一个单层序列：是一个unbounded memory，decoder循环展开的每一个时间步会引用全部结果，不应该被拆解，这种类型的输入必须通过StaticInput指定。关于Unbounded Memory的更多讨论请参考论文 Neural Turning Machine。
    • -
-

在序列生成任务中，decoder RNN总是引用上一时刻预测出的词的词向量，作为当前时刻输入。GeneratedInput自动完成这一过程。

-
-
-

输出

-

step函数必须返回一个或多个Layer的输出，这个Layer的输出会作为整个recurrent_group 最终的输出结果。在输出的过程中，recurrent_group 会将每个时间步的输出拼接，这个过程对用户也是透明的。

-
-
-

memory

-

memory只能在recurrent_group中定义和使用。memory不能独立存在，必须指向一个PaddlePaddle定义的Layer。引用memory得到这layer上一时刻输出，因此，可以将memory理解为一个时延操作。

-

可以显示地指定一个layer的输出用于初始化memory。不指定时，memory默认初始化为0。

-
-
-
-

双层RNN介绍

-

recurrent_group帮助我们完成对输入序列的拆分，对输出的合并，以及计算逻辑在序列上的循环展开。

-

利用这种特性，两个嵌套的recurrent_group能够处理双层序列，实现词语和句子两个级别的双层RNN结构。

-
    -
  • 单层（word-level）RNN：每个状态（state）对应一个词（word）。
    • -
  • 双层（sequence-level）RNN：一个双层RNN由多个单层RNN组成，每个单层RNN（即双层RNN的每个状态）对应一个子句（subseq）。
    • -
-

为了描述方便，下文以NLP任务为例，将含有子句（subseq）的段落定义为一个双层序列，将含有词语的句子定义为一个单层序列，那么0层序列即为一个词语。

-
-
-

双层RNN的使用

-
-

训练流程的使用方法

-

使用 recurrent_group需要遵循以下约定：

-
    -
  • 单进单出：输入和输出都是单层序列。
      -
    • 如果有多个输入，不同输入序列含有的词语数必须严格相等。
      • -
    • 输出一个单层序列，输出序列的词语数和输入序列一致。
      • -
    • memory：在step函数中定义 memory指向一个layer，通过引用memory得到这个layer上一个时刻输出，形成recurrent 连接。memory的is_seq参数必须为false。如果没有定义memory，每个时间步之内的运算是独立的。
      • -
    • boot_layer：memory的初始状态，默认初始状为0，memory的is_seq参数必须为false。
      • -
    -
    • -
  • 双进双出：输入和输出都是双层序列。
      -
    • 如果有多个输入序列，不同输入含有的子句（subseq）数必须严格相等，但子句含有的词语数可以不相等。
      • -
    • 输出一个双层序列，子句（subseq）数、子句的单词数和指定的一个输入序列一致，默认为第一个输入。
      • -
    • memory：在step函数中定义memory，指向一个layer，通过引用memory得到这个layer上一个时刻的输出，形成recurrent连接。定义在外层recurrent_group step函数中的memory，能够记录上一个subseq 的状态，可以是一个单层序列（只作为read-only memory），也可以是一个词语。如果没有定义memory，那么 subseq 之间的运算是独立的。
      • -
    • boot_layer：memory 初始状态，可以是一个单层序列（只作为read-only memory）或一个向量。默认不设置，即初始状态为0。
      • -
    -
    • -
  • 双进单出：目前还未支持，会报错”In hierachical RNN, all out links should be from sequences now”。
    • -
-
-
-

生成流程的使用方法

-

使用beam_search需要遵循以下约定：

-
    -
  • 单层RNN：从一个word生成下一个word。
    • -
  • 双层RNN：即把单层RNN生成后的subseq给拼接成一个新的双层seq。从语义上看，也不存在一个subseq直接生成下一个subseq的情况。
    • -
-
-
-
- - -
-
-
- -
-
- - - - \ No newline at end of file diff --git a/doc_cn/build_and_install/index.html b/doc_cn/build_and_install/index.html index 43bcf68fb78a8af63202523e4f3a4fea895cb35d..23d66944b1fcd18c85c25575ff34c3bf1aa73c61 100644 --- a/doc_cn/build_and_install/index.html +++ b/doc_cn/build_and_install/index.html @@ -58,28 +58,16 @@ var _hmt = _hmt || [];

编译与安装

-
-

安装

PaddlePaddle提供数个预编译的二进制来进行安装，包括Docker镜像，ubuntu的deb安装包等。我们推荐使用Docker镜像来部署环境，同时欢迎贡献更多的安装包。

+

Note: The intallation packages are still in pre-release state and your experience of installation may not be smooth.

+

注意：目前PaddlePaddle的安装包还处在pre-release的状态，使用起来或许会不是很顺畅。

-
-
-
-

编译

-
-

Warning

-

编译选项主要推荐高级用户查看，普通用户请走安装流程。

-
-
-
-
@@ -88,15 +76,6 @@ var _hmt = _hmt || [];