Merge branch 'release/0.10.0' into release/0.10.0

RELEASE.md

@@ -9,6 +9,8 @@
   - CIFAR, MNIST, IMDB, WMT14, CONLL05, movielens, imikolov.
 * Add Priorbox layer for Single Shot Multibox Detection. 
 * Add smooth L1 cost.
+* Add data reader creator and data reader decorator for v2 API.
+* Add the cpu implementation of cmrnorm-projection.
 
 ## Improvements
 
@@ -23,6 +25,19 @@
 * Support predicting the samples from sys.stdin for sentiment demo.
 * Provide multi-proccess interface for image preprocessing. 
 * Add benchmark document for v1 API.
+* Add Relu in layer_math.py.
+* Add packages for automatically downloading public datasets.
+* Rename Argument::sumCost to Argument::sum since Argument does not have to have any relationship with cost.
+* Add a new `TensorExpression` implementation for matrix-related expression evaluations.
+* Add Lazy Assignment for optimize the calculation of multiple expressions.
+* Add `Function` to reconstruct the computation function.
+  * PadFunc and PadGradFunc.
+  * ContextProjectionForwardFunc and ContextProjectionBackwardFunc.
+  * CosSimBackward and CosSimBackwardFunc.
+  * CrossMapNormalFunc and CrossMapNormalGradFunc.
+  * MulFunc.
+* Add `AutoCompare` and `FunctionCompare`, which make it easier to write unittest for comparing gpu and cpu version of a function.
+* Add `libpaddle_test_main.a` and remove the main function inside the test file.
 
 ## Bug Fixes
 
@@ -34,6 +49,9 @@
 * Fix bug for dataprovider converter in GPU mode.
 * Fix bug in GatedRecurrentLayer which only occurs in predicting or `job=test` mode.
 * Fix bug for BatchNorm when testing more than models in test mode.
+* Fix unit test of paramRelu.
+* Fix some warning about CpuSparseMatrix.
+* Fix MultiGradientMachine error if trainer_count > batch_size.
 
 # Release v0.9.0
 

doc/getstarted/build_and_install/docker_install_cn.rst

@@ -4,93 +4,112 @@ PaddlePaddle的Docker容器使用方式
 PaddlePaddle目前唯一官方支持的运行的方式是Docker容器。因为Docker能在所有主要操作系统（包括Linux，Mac OS X和Windows）上运行。 请注意，您需要更改 `Dockers设置 <https://github.com/PaddlePaddle/Paddle/issues/627>`_ 才能充分利用Mac OS X和Windows上的硬件资源。
 
 
-PaddlePaddle发布的docker镜像使用说明
+PaddlePaddle发布的Docker镜像使用说明
 ------------------------------
 
-对于每一个PaddlePaddle版本，我们都会发布两种Docker镜像：开发镜像、运行镜像。运行镜像包括纯CPU版本和GPU版本以及其对应的非AVX版本。
-我们会在 `dockerhub.com <https://hub.docker.com/r/paddledev/paddle/>`_ 提供最新的docker镜像，可以在"tags"标签下找到最新的Paddle镜像版本。
+我们把PaddlePaddle的编译环境打包成一个镜像，称为开发镜像，里面涵盖了
+PaddlePaddle需要的所有编译工具。把编译出来的PaddlePaddle也打包成一个镜
+像，称为生产镜像，里面涵盖了PaddlePaddle运行所需的所有环境。每次
+PaddlePaddle发布新版本的时候都会发布对应版本的生产镜像以及开发镜像。运
+行镜像包括纯CPU版本和GPU版本以及其对应的非AVX版本。我们会在
+`dockerhub.com <https://hub.docker.com/r/paddledev/paddle/>`_ 提供最新
+的Docker镜像，可以在"tags"标签下找到最新的Paddle镜像版本。为了方便在国
+内的开发者下载Docker镜像，我们提供了国内的镜像服务器供大家使用。如果您
+在国内，请把文档里命令中的paddlepaddle/paddle替换成
+docker.paddlepaddle.org/paddle。
+
 1. 开发镜像：:code:`paddlepaddle/paddle:<version>-dev`
 
-    这个镜像包含了Paddle相关的开发工具以及编译和运行环境。用户可以使用开发镜像代替配置本地环境，完成开发，编译，发布，
-    文档编写等工作。由于不同的Paddle的版本可能需要不同的依赖和工具，所以如果需要自行配置开发环境需要考虑版本的因素。
-    开发镜像包含了以下工具：
-    - gcc/clang
-    - nvcc
-    - Python
-    - sphinx
-    - woboq
-    - sshd
-    很多开发者会使用远程的安装有GPU的服务器工作，用户可以使用ssh登录到这台服务器上并执行 :code:`docker exec`进入开发镜像并开始工作，
-    也可以在开发镜像中启动一个SSHD服务，方便开发者直接登录到镜像中进行开发:
+   这个镜像包含了Paddle相关的开发工具以及编译和运行环境。用户可以使用开发镜像代替配置本地环境，完成开发，编译，发布，
+   文档编写等工作。由于不同的Paddle的版本可能需要不同的依赖和工具，所以如果需要自行配置开发环境需要考虑版本的因素。
+   开发镜像包含了以下工具：
+   
+   - gcc/clang
+   - nvcc
+   - Python
+   - sphinx
+   - woboq
+   - sshd
+   很多开发者会使用远程的安装有GPU的服务器工作，用户可以使用ssh登录到这台服务器上并执行 :code:`docker exec`进入开发镜像并开始工作，
+   也可以在开发镜像中启动一个SSHD服务，方便开发者直接登录到镜像中进行开发:
+
+   以交互容器方式运行开发镜像：
+
+   .. code-block:: bash
+
+      docker run -it --rm paddlepaddle/paddle:<version>-dev /bin/bash
+
+   或者，可以以后台进程方式运行容器：
+
+   .. code-block:: bash
+
+      docker run -d -p 2202:22 -p 8888:8888 paddledev/paddle:<version>-dev
 
-    以交互容器方式运行开发镜像：
+   然后用密码 :code:`root` SSH进入容器：
 
-    .. code-block:: bash
+   .. code-block:: bash
 
-        docker run -it --rm paddledev/paddle:<version>-dev /bin/bash
+      ssh -p 2202 root@localhost
 
-    或者，可以以后台进程方式运行容器：
+   SSH方式的一个优点是我们可以从多个终端进入容器。比如，一个终端运行vi，另一个终端运行Python。另一个好处是我们可以把PaddlePaddle容器运行在远程服务器上，并在笔记本上通过SSH与其连接。
 
-    .. code-block:: bash
+2. 生产镜像：根据CPU、GPU和非AVX区分了如下4个镜像：
 
-        docker run -d -p 2202:22 -p 8888:8888 paddledev/paddle:<version>-dev
+   - GPU/AVX：:code:`paddlepaddle/paddle:<version>-gpu`
+   - GPU/no-AVX：:code:`paddlepaddle/paddle:<version>-gpu-noavx`
+   - CPU/AVX：:code:`paddlepaddle/paddle:<version>`
+   - CPU/no-AVX：:code:`paddlepaddle/paddle:<version>-noavx`
 
-    然后用密码 :code:`root` SSH进入容器：
+   纯CPU镜像以及GPU镜像都会用到AVX指令集，但是2008年之前生产的旧电脑不支持AVX。以下指令能检查Linux电脑是否支持AVX：
 
-    .. code-block:: bash
+   .. code-block:: bash
 
-        ssh -p 2202 root@localhost
+      if cat /proc/cpuinfo | grep -i avx; then echo Yes; else echo No; fi
 
-    SSH方式的一个优点是我们可以从多个终端进入容器。比如，一个终端运行vi，另一个终端运行Python。另一个好处是我们可以把PaddlePaddle容器运行在远程服务器上，并在笔记本上通过SSH与其连接。
+   如果输出是No，就需要选择使用no-AVX的镜像
 
-2. 运行镜像：根据CPU、GPU和非AVX区分了如下4个镜像：
-    - GPU/AVX：:code:`paddlepaddle/paddle:<version>-gpu`
-    - GPU/no-AVX：:code:`paddlepaddle/paddle:<version>-gpu-noavx`
-    - CPU/AVX：:code:`paddlepaddle/paddle:<version>`
-    - CPU/no-AVX：:code:`paddlepaddle/paddle:<version>-noavx`
+   以上方法在GPU镜像里也能用，只是请不要忘记提前在物理机上安装GPU最新驱动。
+   为了保证GPU驱动能够在镜像里面正常运行，我们推荐使用[nvidia-docker](https://github.com/NVIDIA/nvidia-docker)来运行镜像。
 
-    纯CPU镜像以及GPU镜像都会用到AVX指令集，但是2008年之前生产的旧电脑不支持AVX。以下指令能检查Linux电脑是否支持AVX：
+   .. code-block:: bash
 
-    .. code-block:: bash
+      nvidia-docker run -it --rm paddledev/paddle:0.10.0rc1-gpu /bin/bash
 
-       if cat /proc/cpuinfo | grep -i avx; then echo Yes; else echo No; fi
+   注意: 如果使用nvidia-docker存在问题，你也许可以尝试更老的方法，具体如下，但是我们并不推荐这种方法。：
 
-    如果输出是No，就需要选择使用no-AVX的镜像
+   .. code-block:: bash
 
-    以上方法在GPU镜像里也能用，只是请不要忘记提前在物理机上安装GPU最新驱动。
-    为了保证GPU驱动能够在镜像里面正常运行，我们推荐使用[nvidia-docker](https://github.com/NVIDIA/nvidia-docker)来运行镜像。
+      export CUDA_SO="$(\ls /usr/lib64/libcuda* | xargs -I{} echo '-v {}:{}') $(\ls /usr/lib64/libnvidia* | xargs -I{} echo '-v {}:{}')"
+      export DEVICES=$(\ls /dev/nvidia* | xargs -I{} echo '--device {}:{}')
+      docker run ${CUDA_SO} ${DEVICES} -it paddledev/paddle:<version>-gpu
 
-    .. code-block:: bash
+3. 运行以及发布您的AI程序
 
-        nvidia-docker run -it --rm paddledev/paddle:0.10.0rc1-gpu /bin/bash
+   假设您已经完成了一个AI训练的python程序 :code:`a.py`，这个程序是您在开发机上使用开发镜像完成开发。此时您可以运行这个命令在开发机上进行测试运行：
 
-    注意: 如果使用nvidia-docker存在问题，你也许可以尝试更老的方法，具体如下，但是我们并不推荐这种方法。：
+   .. code-block:: bash
 
-    .. code-block:: bash
+      docker run -it -v $PWD:/work paddle /work/a.py
 
-        export CUDA_SO="$(\ls /usr/lib64/libcuda* | xargs -I{} echo '-v {}:{}') $(\ls /usr/lib64/libnvidia* | xargs -I{} echo '-v {}:{}')"
-        export DEVICES=$(\ls /dev/nvidia* | xargs -I{} echo '--device {}:{}')
-        docker run ${CUDA_SO} ${DEVICES} -it paddledev/paddle:<version>-gpu
+   如果要使用GPU，请运行：
 
-3. 使用运行镜像发布你的AI程序
-    假设您已经完成了一个AI训练的python程序 :code:`a.py`，这个程序是您在开发机上使用开发镜像完成开发。此时您可以运行这个命令在开发机上进行测试运行：
+   .. code-block:: bash
 
-    .. code-block:: bash
+      nvidia-docker run -it -v $PWD:/work paddle /work/a.py
 
-        docker run -it -v $PWD:/work paddle /work/a.py
 
-    这里`a.py`包含的所有依赖假设都可以在Paddle的运行容器中。如果需要包含更多的依赖、或者需要发布您的应用的镜像，可以编写`Dockerfile`使用`FROM paddledev/paddle:<version>`
-    创建和发布自己的AI程序镜像。
+   这里`a.py`包含的所有依赖假设都可以在Paddle的运行容器中。如果需要包含更多的依赖、或者需要发布您的应用的镜像，可以编写`Dockerfile`使用`FROM paddledev/paddle:<version>`
+   创建和发布自己的AI程序镜像。
 
-运行PaddlePaddle书籍
+运行PaddlePaddle Book
 ---------------------
 
 Jupyter Notebook是一个开源的web程序，大家可以通过它制作和分享带有代码、公式、图表、文字的交互式文档。用户可以通过网页浏览文档。
 
-PaddlePaddle书籍是为用户和开发者制作的一个交互式的Jupyter Nodebook。
-如果您想要更深入了解deep learning，PaddlePaddle书籍一定是您最好的选择。
+PaddlePaddle Book是为用户和开发者制作的一个交互式的Jupyter Nodebook。
+如果您想要更深入了解deep learning，PaddlePaddle Book一定是您最好的选择。
 
-我们提供可以直接运行PaddlePaddle书籍的docker镜像，直接运行：
+我们提供可以直接运行PaddlePaddle Book的Docker镜像，直接运行：
 
 .. code-block:: bash
 
@@ -109,53 +128,44 @@ PaddlePaddle书籍是为用户和开发者制作的一个交互式的Jupyter Nod
 
 开发人员可以在Docker开发镜像中开发PaddlePaddle。这样开发人员可以以一致的方式在不同的平台上工作 - Linux，Mac OS X和Windows。
 
-1. 构建开发镜像
+1. 制作PaddlePaddle开发镜像
 
-   .. code-block:: bash
+   PaddlePaddle每次发布新版本都会发布对应的开发镜像供开发者直接使用。这里介绍如生成造这个开发镜像。
+   生成Docker镜像的方式有两个，一个是直接把一个容器转换成镜像，另一个是创建Dockerfile并运行docker build指令按照Dockerfile生成镜像。第一个方法的好处是简单快捷，适合自己实验，可以快速迭代。第二个方法的好处是Dockerfile可以把整个生成流程描述很清楚，其他人很容易看懂镜像生成过程，持续集成系统也可以简单地复现这个过程。我们采用第二个方法。Dockerfile位于PaddlePaddle repo的根目录。生成生产镜像只需要运行：
 
-      git clone --recursive https://github.com/PaddlePaddle/Paddle
+   .. code-block:: bash
+      
+      git clone https://github.com/PaddlePaddle/Paddle.git
       cd Paddle
       docker build -t paddle:dev .
 
+   docker build这个命令的-t指定了生成的镜像的名字，这里我们用paddle:dev。到此，PaddlePaddle开发镜像就被构建完毕了。
 
-   请注意，默认情况下，:code:`docker build` 不会将源码导入到镜像中并编译它。如果我们想这样做，需要构建完开发镜像，然后执行：
-
-   .. code-block:: bash
-
-      docker run -v $PWD:/paddle -e "WITH_GPU=OFF" -e "WITH_AVX=ON" -e "TEST=OFF" paddle:dev
-
-
-2. 运行开发环境
+2. 制作PaddlePaddle生产镜像
 
-   当我们编译好了 :code:`paddle:dev`， 我们可以在docker容器里做开发，源代码可以通过挂载本地文件来被载入Docker的开发环境里面：
+   生产镜像的生成分为两步，第一步是运行：
 
    .. code-block:: bash
+      
+      docker run -v $(pwd):/paddle -e "WITH_GPU=OFF" -e "WITH_AVX=OFF" -e "WITH_TEST=ON" paddle:dev
 
-      docker run -d -p 2202:22 -v $PWD:/paddle paddle:dev sshd
+   以上命令会编译PaddlePaddle，生成运行程序，以及生成创建生产镜像的Dockerfile。所有生成的的文件都在build目录下。“WITH_GPU”控制生成的生产镜像是否支持GPU，“WITH_AVX”控制生成的生产镜像是否支持AVX，”WITH_TEST“控制是否生成单元测试。
 
-   以上代码会启动一个带有PaddlePaddle开发环境的docker容器，源代码会被挂载到 :code:`/paddle` 。
-
-   以上的 :code:`docker run` 命令其实会启动一个在2202端口监听的SSHD服务器。这样，我们就能SSH进入我们的开发容器了：
+   第二步是运行：
 
    .. code-block:: bash
+      
+      docker build -t paddle:prod -f build/Dockerfile ./build
 
-      ssh root@localhost -p 2202
+   以上命令会按照生成的Dockerfile把生成的程序拷贝到生产镜像中并做相应的配置，最终生成名为paddle:prod的生产镜像。
 
-3. 在Docker开发环境中编译与安装PaddlPaddle代码
+3. 运行单元测试
 
-   当在容器里面的时候，可以用脚本 :code:`paddle/scripts/docker/build.sh` 来编译、安装与测试PaddlePaddle：
+   运行以下指令：
 
    .. code-block:: bash
-
-      /paddle/paddle/scripts/docker/build.sh
-
-   以上指令会在 :code:`/paddle/build` 中编译PaddlePaddle。通过以下指令可以运行单元测试：
-
-   .. code-block:: bash
-
-      cd /paddle/build
-      ctest
-
+      
+      docker run -it -v $(pwd):/paddle paddle:dev bash -c "cd /paddle/build && ctest"
 
 文档
 ----

doc/getstarted/build_and_install/docker_install_en.rst

@@ -53,12 +53,20 @@ Docker is simple as long as we understand a few basic concepts:
 Usage of CPU-only and GPU Images
 ----------------------------------
 
-For each version of PaddlePaddle, we release two types of Docker images:
-development image and production image. Production image includes
-CPU-only version and a CUDA GPU version and their no-AVX versions. We
-put the docker images on `dockerhub.com
+We package PaddlePaddle's compile environment into a Docker image,
+called the develop image, it contains all compiling tools that
+PaddlePaddle needs. We package compiled PaddlePaddle program into a
+Docker image as well, called the production image, it contains all
+runtime environment that running PaddlePaddle needs. For each version
+of PaddlePaddle, we release both of them. Production image includes
+CPU-only version and a CUDA GPU version and their no-AVX versions.
+
+We put the docker images on `dockerhub.com
 <https://hub.docker.com/r/paddledev/paddle/>`_. You can find the
-latest versions under "tags" tab at dockerhub.com
+latest versions under "tags" tab at dockerhub.com. If you are in
+China, you can use our Docker image registry mirror to speed up the
+download process. To use it, please replace all paddlepaddle/paddle in
+the commands to docker.paddlepaddle.org/paddle.
 
 1. Production images, this image might have multiple variants:
 
@@ -179,59 +187,40 @@ Develop PaddlePaddle or Train Model Using C++ API
 We will be using PaddlePaddle development image since it contains all
 compiling tools and dependencies.
 
-Let's clone PaddlePaddle repo first:
+1. Build PaddlePaddle develop image
 
-.. code-block:: bash
-
-   git clone https://github.com/PaddlePaddle/Paddle.git && cd Paddle
-
-Mount both workspace folder and paddle code folder into docker
-container, so we can access them inside docker container. There are
-two ways of using PaddlePaddle development docker image:
-
-- run interactive bash directly
+   Use following command to build PaddlePaddle develop image:
 
-  .. code-block:: bash
-
-     # use nvidia-docker instead of docker if you need to use GPU
-     docker run -it -v ~/workspace:/workspace -v $(pwd):/paddle paddlepaddle/paddle:0.10.0rc2-dev /bin/bash
-     # now we are inside docker container
+   .. code-block:: bash
 
-- or, we can run it as a daemon container
+      git clone https://github.com/PaddlePaddle/Paddle.git && cd Paddle
+      docker build -t paddle:dev .
 
-  .. code-block:: bash
+2. Build PaddlePaddle production image
 
-     # use nvidia-docker instead of docker if you need to use GPU
-     docker run -d -p 2202:22 -p 8888:8888 -v ~/workspace:/workspace -v $(pwd):/paddle paddlepaddle/paddle:0.10.0rc2-dev /usr/sbin/sshd -D
+   There are two steps for building production image, the first step is to run:
 
-  and SSH to this container using password :code:`root`:
-
-  .. code-block:: bash
+   .. code-block:: bash
 
-     ssh -p 2202 root@localhost
+      docker run -v $(pwd):/paddle -e "WITH_GPU=OFF" -e "WITH_AVX=OFF" -e "WITH_TEST=ON" paddle:dev
 
-  An advantage is that we can run the PaddlePaddle container on a
-  remote server and SSH to it from a laptop.
+   The above command will compile PaddlePaddle and create a Dockerfile for building production image. All the generated files are in the build directory. "WITH_GPU" controls if the generated production image supports GPU. "WITH_AVX" controls if the generated production image supports AVX. "WITH_TEST" controls if the unit test will be generated.
 
-When developing PaddlePaddle, you can edit PaddlePaddle source code
-from outside of docker container using your favoriate editor. To
-compile PaddlePaddle, run inside container:
+   The second step is to run:
 
-.. code-block:: bash
+   .. code-block:: bash
 
-   WITH_GPU=OFF WITH_AVX=ON WITH_TEST=ON bash /paddle/paddle/scripts/docker/build.sh
+      docker build -t paddle:prod -f build/Dockerfile ./build
 
-This builds everything about Paddle in :code:`/paddle/build`.  And we
-can run unit tests there:
+   The above command will generate the production image by copying the compiled PaddlePaddle program into the image.
 
-.. code-block:: bash
+3. Run unit test
 
-   cd /paddle/build
-   ctest
+   Following command will run unit test:
 
-When training model using C++ API, we can edit paddle program in
-~/workspace outside of docker. And build from /workspace inside of
-docker.
+   .. code-block:: bash
+      
+      docker run -it -v $(pwd):/paddle paddle:dev bash -c "cd /paddle/build && ctest"
 
 PaddlePaddle Book
 ------------------

paddle/scripts/docker/README.md

@@ -119,7 +119,7 @@ Users can specify the following Docker build arguments with either "ON" or "OFF"
 The following command builds the production image:
 
 ```bash
-docker build -t paddle -f build/Dockerfile .
+docker build -t paddle -f build/Dockerfile ./build
 ```
 
 This production image is minimal -- it includes binary `paddle`, the shared library `libpaddle.so`, and Python runtime.

paddle/scripts/docker/build.sh

@@ -99,7 +99,7 @@ fi
 
 cat >> /paddle/build/Dockerfile <<EOF
 # Use different deb file when building different type of images
-ADD build/*.deb /
+ADD *.deb /
 # run paddle version to install python packages first
 RUN apt-get update &&\
     apt-get install -y python-pip && pip install -U pip && \