Merge branch 'develop' of github.com:baidu/Paddle into feature/refine_doc_drnn

CMakeLists.txt

@@ -51,13 +51,7 @@ option(ON_TRAVIS "Running test on travis-ci or not." OFF)
 option(ON_COVERALLS "Generating code coverage data on coveralls or not." OFF)
 option(COVERALLS_UPLOAD "Uploading the generated coveralls json." ON)
 
-if(NOT CMAKE_BUILD_TYPE)
-    set(CMAKE_BUILD_TYPE "RelWithDebInfo" CACHE STRING
-        "Choose the type of build, options are: Debug Release RelWithDebInfo MinSizeRel"
-        FORCE)
-endif()
 
-include(enableCXX11)
 include(cpplint)
 include(ccache)
 if(WITH_RDMA)
@@ -83,18 +77,13 @@ if(NOT WITH_GPU)
 
     list(APPEND CMAKE_CXX_SOURCE_FILE_EXTENSIONS cu)
 else()
-    if(${CUDA_VERSION_MAJOR} GREATER 6)
-        if(COMPILER_SUPPORT_CXX11)
-            LIST(APPEND CUDA_NVCC_FLAGS -std=c++11)
-        endif()
+    if(${CUDA_VERSION_MAJOR} VERSION_LESS 7)
+        message(FATAL_ERROR "Paddle need CUDA >= 7.0 to compile")
     endif()
 
-    # TODO(yuyang18): Change it to remove std=c++11 in cuda compile.
-    set(CUDA_PROPAGATE_HOST_FLAGS OFF)
     if(NOT CUDNN_FOUND)
         message(FATAL_ERROR "Paddle need cudnn to compile")
     endif()
-    set(CUDA_NVCC_FLAGS ${CUDA_NVCC_FLAGS} "-g -O3 --use_fast_math")
 
     if(WITH_AVX)
         set(CUDA_NVCC_FLAGS ${CUDA_NVCC_FLAGS} "-Xcompiler ${AVX_FLAG}")

cmake/enableCXX11.cmake

-# Enable C++ 11 for GCC.
-# NOTE: It's only tested for gcc.
-include(CheckCXXCompilerFlag)
-CHECK_CXX_COMPILER_FLAG("-std=c++11" COMPILER_SUPPORT_CXX11)
-CHECK_CXX_COMPILER_FLAG("-std=c++0x" COMPILER_SUPPORT_CXX0X)
-
-if(COMPILER_SUPPORT_CXX11)
-    set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++11")
-elseif(COMPILER_SUPPORT_CXX0X)
-    set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++0x")
-else()
-    message(FATAL_ERROR "Your compiler must support c++11")
-endif()
\ No newline at end of file

cmake/flags.cmake

@@ -2,6 +2,37 @@
 include(CheckCXXCompilerFlag)
 include(CheckCCompilerFlag)
 include(CheckCXXSymbolExists)
+
+if(NOT CMAKE_BUILD_TYPE)
+    set(CMAKE_BUILD_TYPE "RelWithDebInfo" CACHE STRING 
+        "Choose the type of build, options are: Debug Release RelWithDebInfo MinSizeRel"
+        FORCE)
+endif()
+
+function(CheckCompilerCXX11Flag)
+    if(CMAKE_CXX_COMPILER_ID STREQUAL "GNU")
+        if(${CMAKE_CXX_COMPILER_VERSION} VERSION_LESS 4.8)
+            message(FATAL_ERROR "Unsupported GCC version. GCC >= 4.8 required.")
+        endif()
+    elseif(CMAKE_CXX_COMPILER_ID STREQUAL "AppleClang" OR CMAKE_CXX_COMPILER_ID STREQUAL "Clang")
+        # cmake >= 3.0 compiler id "AppleClang" on Mac OS X, otherwise "Clang"
+        # Apple Clang is a different compiler than upstream Clang which havs different version numbers.
+        # https://gist.github.com/yamaya/2924292
+        if(APPLE)  # cmake < 3.0 compiler id "Clang" on Mac OS X
+            if(${CMAKE_CXX_COMPILER_VERSION} VERSION_LESS 5.1)
+                message(FATAL_ERROR "Unsupported AppleClang version. AppleClang >= 5.1 required.")
+            endif()
+        else()
+            if (${CMAKE_CXX_COMPILER_VERSION} VERSION_LESS 3.3)
+                message(FATAL_ERROR "Unsupported Clang version. Clang >= 3.3 required.")
+            endif()
+        endif()   
+    endif()
+endfunction()
+
+CheckCompilerCXX11Flag()
+LIST(APPEND CMAKE_CXX_FLAGS -std=c++11)
+
 # safe_set_flag
 #
 # Set a compile flag only if compiler is support
@@ -41,9 +72,7 @@ macro(safe_set_nvflag flag_name)
     CHECK_C_COMPILER_FLAG(${flag_name} C_COMPILER_SUPPORT_FLAG_${safe_name})
     set(safe_name C_COMPILER_SUPPORT_FLAG_${safe_name})
     if(${safe_name})
-        set(CUDA_NVCC_FLAGS
-            --compiler-options;${flag_name}
-            ${CUDA_NVCC_FLAGS})
+        LIST(APPEND CUDA_NVCC_FLAGS -Xcompiler ${flag_name})
     endif()
 endmacro()
 
@@ -109,8 +138,22 @@ foreach(flag ${GPU_COMMON_FLAGS})
 endforeach()
 
 
+set(CUDA_PROPAGATE_HOST_FLAGS OFF)
+
 # Release/Debug flags set by cmake. Such as -O3 -g -DNDEBUG etc.
 # So, don't set these flags here.
+LIST(APPEND CUDA_NVCC_FLAGS -std=c++11)
+LIST(APPEND CUDA_NVCC_FLAGS --use_fast_math)
+
+if(CMAKE_BUILD_TYPE  STREQUAL "Debug")
+    LIST(APPEND CUDA_NVCC_FLAGS  ${CMAKE_CXX_FLAGS_DEBUG})
+elseif(CMAKE_BUILD_TYPE  STREQUAL "Release")
+    LIST(APPEND CUDA_NVCC_FLAGS  ${CMAKE_CXX_FLAGS_RELEASE})
+elseif(CMAKE_BUILD_TYPE  STREQUAL "RelWithDebInfo")
+    LIST(APPEND CUDA_NVCC_FLAGS  ${CMAKE_CXX_FLAGS_RELWITHDEBINFO})
+elseif(CMAKE_BUILD_TYPE  STREQUAL "MinSizeRel")
+    LIST(APPEND CUDA_NVCC_FLAGS  ${CMAKE_CXX_FLAGS_MINSIZEREL})
+endif()
 
 function(specify_cuda_arch cuda_version cuda_arch)
     if(${cuda_version} VERSION_GREATER "8.0")

doc/getstarted/build_and_install/build_from_source.md

@@ -16,13 +16,16 @@ git submodule update --init --recursive
 
 ## <span id="requirements">Requirements</span>
 
-To compile the source code, your computer must be equipped with GCC >=4.6 or Clang compiler.
-### Dependencies
+To compile the source code, your computer must be equipped with the following dependencies.
 
+- **Compiler**: GCC >= 4.8 or Clang >= 3.3 (AppleClang >= 5.1)
 - **CMake**: version >= 2.8
 - **BLAS**: MKL, OpenBlas or ATLAS
-- **protobuf**: version >= 2.4, **Note: 3.x is not supported**
-- **python**: only python 2.7 is supported currently
+- **Protocol Buffers**: version >= 2.4, **Note: 3.x is not supported**
+- **Python**: only python 2.7 is supported currently
+
+**Note:** For CUDA 7.0 and CUDA 7.5, GCC 5.0 and up are not supported!
+For CUDA 8.0, GCC versions later than 5.3 are not supported!
 
 ### Options
 
@@ -50,8 +53,8 @@ PaddlePaddle supports some build options. To enable it, first you need to instal
 </html>
 
 **Note:**
-  - The GPU version works best with Cuda Toolkit 7.5 and cuDNN v5.
-  - Other versions like Cuda Toolkit 6.5, 7.0, 8.0 and cuDNN v2, v3, v4 are also supported.
+  - The GPU version works best with Cuda Toolkit 8.0 and cuDNN v5.
+  - Other versions like Cuda Toolkit 7.0, 7.5 and cuDNN v3, v4 are also supported.
   - **To utilize cuDNN v5, Cuda Toolkit 7.5 is prerequisite and vice versa.**
 
 As a simple example, consider the following:  

doc_cn/demo/quick_start/index.rst

+PaddlePaddle快速入门教程
+========================
+
+我们将以 `文本分类问题 <https://en.wikipedia.org/wiki/Document_classification>`_ 为例,
+介绍PaddlePaddle的基本使用方法。
+
+安装
+====
+
+请参考 `安装教程 <../../build_and_install/index.html>`_ 安装PaddlePaddle。
+
+使用概述
+========
+
+**文本分类问题**：对于给定的一条文本，我们从提前给定的类别集合中选择其所属类别。
+
+比如, 在购物网站上，通过查看买家对某个产品的评价反馈, 评估该产品的质量。
+
+- 这个显示器很棒！ （好评）
+- 用了两个月之后这个显示器屏幕碎了。（差评）
+
+使用PaddlePaddle, 每一个任务流程都可以被划分为如下五个步骤。
+
+    ..  image:: Pipeline.jpg
+        :align: center
+        :scale: 80%
+
+1. 数据格式准备
+    - 本例每行保存一条样本，类别Id和文本信息用 ``Tab`` 间隔，文本中的单词用空格分隔（如果不切词，则字与字之间用空格分隔），例如：``类别Id '\t' 这 个 显 示 器 很 棒 ！``
+2. 向系统传送数据
+    - PaddlePaddle可以执行用户的python脚本程序来读取各种格式的数据文件。
+    - 本例的所有字符都将转换为连续整数表示的Id传给模型。
+3. 描述网络结构和优化算法
+    - 本例由易到难展示4种不同的文本分类网络配置：逻辑回归模型，词向量模型，卷积模型，时序模型。
+    - 常用优化算法包括Momentum, RMSProp，AdaDelta，AdaGrad，Adam，Adamax等，本例采用Adam优化方法，加了L2正则和梯度截断。
+4. 训练模型
+5. 应用模型
+
+数据格式准备
+------------
+
+接下来我们将展示如何用PaddlePaddle训练一个文本分类模型，将 `Amazon电子产品评论数据 <http://jmcauley.ucsd.edu/data/amazon/>`_ 分为好评(正样本)和差评(负样本)两种类别。
+`源代码 <https://github.com/PaddlePaddle/Paddle>`_ 的 ``demo/quick_start`` 目录里提供了该数据的下载脚本和预处理脚本，你只需要在命令行输入以下命令，就能够很方便的完成数据下载和相应的预处理工作。
+
+.. code-block:: bash
+
+    cd demo/quick_start
+    ./data/get_data.sh
+    ./preprocess.sh
+
+数据预处理完成之后，通过配置类似于 ``dataprovider_*.py`` 的数据读取脚本和类似于 ``trainer_config.*.py`` 的训练模型脚本，PaddlePaddle将以设置参数的方式来设置
+相应的数据读取脚本和训练模型脚本。接下来，我们将对这两个步骤给出了详细的解释，你也可以先跳过本文的解释环节，直接进入训练模型章节, 使用 ``sh train.sh`` 开始训练模型，
+查看`train.sh`内容，通过 **自底向上法** (bottom-up approach)来帮助你理解PaddlePaddle的内部运行机制。
+
+
+向系统传送数据
+==============
+
+Python脚本读取数据
+------------------
+
+`DataProvider <../../ui/data_provider/index.html>`_ 是PaddlePaddle负责提供数据的模块。``DataProvider`` 主要职责在于将训练数据传入内存或者显存，让模型能够得到训练更新，其包括两个函数：
+
+* initializer：PaddlePaddle会在调用读取数据的Python脚本之前，先调用initializer函数。在下面例子里，我们在initialzier函数里初始化词表，并且在随后的读取数据过程中填充词表。
+* process：PaddlePaddle调用process函数来读取数据。每次读取一条数据后，process函数会用yield语句输出这条数据，从而能够被PaddlePaddle 捕获 (harvest)。
+
+``dataprovider_bow.py`` 文件给出了完整例子：
+
+..  literalinclude:: ../../../demo/quick_start/dataprovider_bow.py
+     :language: python
+     :lines: 21-70
+     :linenos:
+     :emphasize-lines: 8,33
+
+
+配置中的数据加载定义
+--------------------
+
+在模型配置中通过 ``define_py_data_sources2`` 接口来加载数据：
+
+..  literalinclude:: ../../../demo/quick_start/trainer_config.emb.py
+     :language: python
+     :lines: 19-35
+     :linenos:
+     :emphasize-lines: 12
+
+
+以下是对上述数据加载的解释：
+
+- data/train.list,data/test.list: 指定训练数据和测试数据
+- module="dataprovider_bow": 处理数据的Python脚本文件
+- obj="process": 指定生成数据的函数
+- args={"dictionary": word_dict}: 额外的参数，这里指定词典
+
+更详细数据格式和用例请参考 `PyDataProvider2 <../../ui/data_provider/pydataprovider2.html>`_ 。
+
+模型网络结构
+============
+
+本小节我们将介绍模型网络结构。
+
+    ..  image:: PipelineNetwork.jpg
+        :align: center
+        :scale: 80%
+
+
+我们将以最基本的逻辑回归网络作为起点，并逐渐展示更加深入的功能。更详细的网络配置连接请参考 `Layer文档 <../../../doc/layer.html>`_ 。
+所有配置都能在 `源代码 <https://github.com/PaddlePaddle/Paddle>`_ 的 ``demo/quick_start`` 目录下找到。
+
+逻辑回归模型
+------------
+
+具体流程如下:
+
+    ..  image:: NetLR.jpg
+        :align: center
+        :scale: 80%
+
+- 获取利用 `one-hot vector <https://en.wikipedia.org/wiki/One-hot>`_ 表示的每个单词，维度是词典大小
+
+    .. code-block:: python
+
+        word = data_layer(name="word",  size=word_dim)
+
+- 获取该条样本类别Id，维度是类别个数。
+
+    .. code-block:: python
+
+        label = data_layer(name="label", size=label_dim)
+
+- 利用逻辑回归模型对该向量进行分类，同时会计算分类准确率
+
+    .. code-block:: python
+
+        # Define a fully connected layer with logistic activation (also called softmax activation).
+        output = fc_layer(input=word,
+                        size=label_dim,
+                        act_type=SoftmaxActivation())
+        # Define cross-entropy classification loss and error.
+        classification_cost(input=output, label=label)
+
+
+ - input: 除去data层，每个层都有一个或多个input,多个input以list方式输入
+ - size: 该层神经元个数
+ - act_type: 激活函数类型
+
+**效果总结**：我们将在后面介绍训练和预测流程的脚本。在此为方便对比不同网络结构，我们总结了各个网络的复杂度和效果。
+
+    =====================  ===============================  =================
+    网络名称	                    参数数量                    错误率
+    =====================  ===============================  =================
+    逻辑回归	                  252 KB                       8.652 %
+    =====================  ===============================  =================
+
+词向量模型
+----------
+
+embedding模型需要稍微改变提供数据的Python脚本，即 ``dataprovider_emb.py``，词向量模型、
+卷积模型、时序模型均使用该脚本。其中文本输入类型定义为整数时序类型integer_value_sequence。
+
+.. code-block:: python
+
+    def initializer(settings, dictionary, **kwargs):
+        settings.word_dict = dictionary
+        settings.input_types = [
+            # Define the type of the first input as sequence of integer.
+            # The value of the integers range from 0 to len(dictrionary)-1
+            integer_value_sequence(len(dictionary)),
+            # Define the second input for label id
+            integer_value(2)]
+
+    @provider(init_hook=initializer)
+    def process(settings, file_name):
+        ...
+        # omitted, it is same as the data provider for LR model
+
+该模型依然使用逻辑回归分类网络的框架， 只是将句子用连续向量表示替换为用稀疏向量表示， 即对第三步进行替换。句子表示的计算更新为两步：
+
+..  image:: NetContinuous.jpg
+    :align: center
+    :scale: 80%
+
+- 利用单词Id查找该单词对应的连续向量(维度为word_dim)， 输入N个单词，输出为N个word_dim维度向量
+
+    .. code-block:: python
+
+        emb = embedding_layer(input=word, size=word_dim)
+
+- 将该句话包含的所有单词向量求平均, 得到句子的表示
+
+    .. code-block:: python
+
+        avg = pooling_layer(input=emb, pooling_type=AvgPooling())
+
+其它部分和逻辑回归网络结构一致。
+
+**效果总结：**
+
+    =====================  ===============================  ==================
+    网络名称	                    参数数量                    错误率
+    =====================  ===============================  ==================
+    词向量模型	                  15 MB                       8.484 %
+    =====================  ===============================  ==================
+
+卷积模型
+-----------
+
+卷积网络是一种特殊的从词向量表示到句子表示的方法， 也就是将词向量模型进一步演化为三个新步骤。
+
+..  image:: NetConv.jpg
+    :align: center
+    :scale: 80%
+
+文本卷积分可为三个步骤:
+
+1. 首先，从每个单词左右两端分别获取k个相邻的单词, 拼接成一个新的向量；
+
+2. 其次，对该向量进行非线性变换(例如Sigmoid变换), 使其转变为维度为hidden_dim的新向量；
+
+3. 最后，对整个新向量集合的每一个维度取最大值来表示最后的句子。
+
+这三个步骤可配置为:
+
+.. code-block:: python
+
+    text_conv = sequence_conv_pool(input=emb,
+                                context_start=k,
+                                context_len=2 * k + 1)
+
+**效果总结：**
+
+    =====================  ===============================  ========================
+    网络名称	                    参数数量                    错误率
+    =====================  ===============================  ========================
+    卷积模型	                  16 MB                       5.628 %
+    =====================  ===============================  ========================
+
+时序模型
+----------
+
+..  image:: NetRNN.jpg
+    :align: center
+    :scale: 80%
+
+时序模型，也称为RNN模型, 包括简单的 `RNN模型 <https://en.wikipedia.org/wiki/Recurrent_neural_network>`_, `GRU模型 <https://en.wikipedia.org/wiki/Gated_recurrent_unit>`_ 和 `LSTM模型 <https://en.wikipedia.org/wiki/Long_short-term_memory>`_ 等等。
+
+- GRU模型配置：
+
+    .. code-block:: python
+
+        gru = simple_gru(input=emb, size=gru_size)
+
+
+- LSTM模型配置：
+
+    .. code-block:: python
+
+        lstm = simple_lstm(input=emb, size=lstm_size)
+
+本次试验，我们采用单层LSTM模型，并使用了Dropout，**效果总结：**
+
+    =====================  ===============================  =========================
+    网络名称	                    参数数量                    错误率
+    =====================  ===============================  =========================
+    时序模型	                  16 MB                       4.812 %
+    =====================  ===============================  =========================
+
+优化算法
+=========
+
+`优化算法 <http://www.paddlepaddle.org/doc/ui/api/trainer_config_helpers/optimizers_index.html>`_ 包括
+Momentum, RMSProp，AdaDelta，AdaGrad，ADAM，Adamax等，这里采用Adam优化方法，同时使用了L2正则(L2 Regularization)和梯度截断(Gradient Clipping)。
+
+.. code-block:: python
+
+    settings(batch_size=128,
+            learning_rate=2e-3,
+            learning_method=AdamOptimizer(),
+            regularization=L2Regularization(8e-4),
+            gradient_clipping_threshold=25)
+
+训练模型
+=========
+
+在数据加载和网络配置完成之后， 我们就可以训练模型了。
+
+..  image:: PipelineTrain.jpg
+    :align: center
+    :scale: 80%
+
+训练模型，我们只需要运行 ``train.sh`` 训练脚本：
+
+    .. code-block:: bash
+
+        ./train.sh
+
+``train.sh``中包含了训练模型的基本命令。训练时所需设置的主要参数如下：
+
+    .. code-block:: bash
+
+        paddle train \
+        --config=trainer_config.py \
+        --log_period=20 \
+        --save_dir=./output \
+        --num_passes=15 \
+        --use_gpu=false
+
+这里只简单介绍了单机训练，如何进行分布式训练，可以参考教程 `分布式训练 <../../cluster/index.html>`_ 。
+
+预测
+=====
+
+当模型训练好了之后，我们就可以进行预测了。
+
+..  image:: PipelineTest.jpg
+    :align: center
+    :scale: 80%
+
+之前配置文件中 ``test.list`` 指定的数据将会被测试，这里直接通过预测脚本 ``predict.sh`` 进行预测,
+更详细的说明，可以参考 `Python API预测 <../../ui/predict/swig_py_paddle.html>`_ 教程。
+
+    .. code-block:: bash
+
+        model="output/pass-00003"
+        paddle train \
+            --config=trainer_config.lstm.py \
+            --use_gpu=false \
+            --job=test \
+            --init_model_path=$model \
+            --config_args=is_predict=1 \
+            --predict_output_dir=. \
+
+        mv rank-00000 result.txt
+
+这里以 ``output/pass-00003`` 为例进行预测，用户可以根据训练日志，选择测试结果最好的模型来预测。
+
+预测结果以文本的形式保存在 ``result.txt`` 中，一行为一个样本，格式如下：
+
+    .. code-block:: bash
+
+        预测ID;ID为0的概率 ID为1的概率
+        预测ID;ID为0的概率 ID为1的概率
+
+总体效果总结
+==============
+
+在 ``/demo/quick_start`` 目录下，能够找到这里使用的所有数据, 网络配置, 训练脚本等等。
+对于Amazon-Elec测试集(25k), 如下表格，展示了上述网络模型的训练效果:
+
+    =====================  ===============================  =============  ==================================
+    网络名称	                   参数数量                    错误率          配置文件
+    =====================  ===============================  =============  ==================================
+    逻辑回归模型	                  252 KB                     8.652%          trainer_config.lr.py
+    词向量模型      	               15 MB                      8.484%         trainer_config.emb.py
+    卷积模型                        16 MB                     5.628%          trainer_config.cnn.py
+    时序模型 	                    16 MB                     4.812%          trainer_config.lstm.py
+    =====================  ===============================  =============  ==================================
+
+
+附录
+=====
+
+命令行参数
+----------
+
+* \--config：网络配置
+* \--save_dir：模型存储路径
+* \--log_period：每隔多少batch打印一次日志
+* \--num_passes：训练轮次，一个pass表示过一遍所有训练样本
+* \--config_args：命令指定的参数会传入网络配置中。
+* \--init_model_path：指定初始化模型路径，可用在测试或训练时指定初始化模型。
+
+默认一个pass保存一次模型，也可以通过saving_period_by_batches设置每隔多少batch保存一次模型。
+可以通过show_parameter_stats_period设置打印参数信息等。
+其他参数请参考 `命令行参数文档 <../../ui/index.html#command-line-argument>`_ 。
+
+输出日志
+---------
+
+.. code-block:: bash
+
+    TrainerInternal.cpp:160]  Batch=20 samples=2560 AvgCost=0.628761 CurrentCost=0.628761 Eval: classification_error_evaluator=0.304297  CurrentEval: classification_error_evaluator=0.304297
+
+模型训练会看到类似上面这样的日志信息，详细的参数解释，请参考如下表格：
+
+    ===========================================  ==============================================================
+    名称	                                         解释
+    ===========================================  ==============================================================
+    Batch=20	                                  表示过了20个batch
+    samples=2560	                              表示过了2560个样本
+    AvgCost	                                      每个pass的第0个batch到当前batch所有样本的平均cost
+    CurrentCost	                                  当前log_period个batch所有样本的平均cost
+    Eval: classification_error_evaluator	      每个pass的第0个batch到当前batch所有样本的平均分类错误率
+    CurrentEval: classification_error_evaluator	  当前log_period个batch所有样本的平均分类错误率
+    ===========================================  ==============================================================

doc_cn/faq/index.rst

@@ -203,7 +203,23 @@ PaddlePaddle的参数使用名字 :code:`name` 作为参数的ID，相同名字
 
 * 卸载PaddlePaddle包 :code:`pip uninstall paddle`, 清理掉老旧的PaddlePaddle安装包，使得单元测试有一个干净的环境。如果PaddlePaddle包已经在python的site-packages里面，单元测试会引用site-packages里面的python包，而不是源码目录里 :code:`/python` 目录下的python包。同时，即便设置 :code:`PYTHONPATH` 到 :code:`/python` 也没用，因为python的搜索路径是优先已经安装的python包。
 
-9. CMake源码编译, 找到的PythonLibs和PythonInterp版本不一致
+
+9. 运行Docker GPU镜像出现 "CUDA driver version is insufficient"
+----------------------------------------------------------------
+
+用户在使用PaddlePaddle GPU的Docker镜像的时候，常常出现 `Cuda Error: CUDA driver version is insufficient for CUDA runtime version`, 原因在于没有把机器上CUDA相关的驱动和库映射到容器内部。
+具体的解决方法是：
+
+..  code-block:: bash
+
+    $ export CUDA_SO="$(\ls usr/lib64/libcuda* | xargs -I{} echo '-v {}:{}') $(\ls /usr/lib64/libnvidia* | xargs -I{} echo '-v {}:{}')"
+    $ export DEVICES=$(\ls /dev/nvidia* | xargs -I{} echo '--device {}:{}')
+    $ docker run ${CUDA_SO} ${DEVICES} -it paddledev/paddlepaddle:latest-gpu
+
+更多关于Docker的安装与使用, 请参考 `PaddlePaddle Docker 文档 <http://www.paddlepaddle.org/doc_cn/build_and_install/install/docker_install.html>`_ 。
+
+
+10. CMake源码编译, 找到的PythonLibs和PythonInterp版本不一致
 ----------------------------------------------------------
 
 这是目前CMake寻找Python的逻辑存在缺陷，如果系统安装了多个Python版本，CMake找到的Python库和Python解释器版本可能有不一致现象，导致编译PaddlePaddle失败。正确的解决方法是，

doc_cn/howto/build_docker_image.rst

-构建PaddlePaddle的Docker Image
-==============================
-PaddlePaddle的Docker Image构建源码放置在 ``${源码根目录}/paddle/scripts/docker/`` 目录下。该目录有三类文件：
-
-- Dockerfile：Docker Image的描述文件，包括构建步骤、各种参数和维护人员等。
-  
-  - 一共维护了12个Dockerfile，Dockerfile.m4是它们的模板。
-  - PaddlePaddle中所有的Image都基于ubuntu 14.04。
-
-- build.sh：Docker Image的构建脚本，使用方式见下一小节。
-- generate.sh：通过Dockerfile.m4模板生成不同的Dockerfile。
-
-使用脚本构建Docker Image
-------------------------
-
-进入源码目录，执行 ``docker build`` 命令，即可在本地编译出PaddlePaddle的镜像。简单的使用样例为
-
-..  code-block:: bash
-
-    cd ${源码根目录}/paddle/scripts/docker/
-    docker build --build-arg LOWEST_DL_SPEED=50K \
-                 --build-arg WITH_GPU=ON \
-                 --tag  paddle_gpu:latest .
-
-其中，``--build-arg`` 传入的配置参数包括:
-
-- LOWEST\_DL\_SPEED\: 在多线程下载过程中，设置下载线程的最低速度。
-
-  - 默认单位是Bytes，但可以传入10K、10M、或10G等这样的单位。
-  - 如果小于这个速度，那么这个线程将会关闭。当所有的线程都关闭了，那么下载进程将会重启。
--  WITH\_GPU\: ON or OFF，是否开启GPU功能。注意，
-  - **编译** PaddlePaddle的GPU版本 **不一定** 要在具有GPU的机器上进行。
-  - **运行** PaddlePaddle的GPU版本 **一定** 要在具有GPU的机器上运行。
-
-注意：所有Image的构建在Docker 1.12版本测试通过, 低于1.12的版本并没有测试。原因是旧版本可能缺乏 ``--build-arg`` 参数，从而不能在运行编译命令的时候接受参数。
+构建PaddlePaddle的Docker Image
+==============================
+PaddlePaddle的Docker Image构建源码放置在 ``${源码根目录}/paddle/scripts/docker/`` 目录下。该目录有三类文件：
+
+- Dockerfile：Docker Image的描述文件，包括构建步骤、各种参数和维护人员等。
+  
+  - 一共维护了12个Dockerfile，Dockerfile.m4是它们的模板。
+  - PaddlePaddle中所有的Image都基于ubuntu 14.04。
+
+- build.sh：Docker Image的构建脚本，使用方式见下一小节。
+- generate.sh：通过Dockerfile.m4模板生成不同的Dockerfile。
+
+使用脚本构建Docker Image
+------------------------
+
+进入源码目录，执行 ``docker build`` 命令，即可在本地编译出PaddlePaddle的镜像。简单的使用样例为
+
+..  code-block:: bash
+
+    cd ${源码根目录}/paddle/scripts/docker/
+    docker build --build-arg LOWEST_DL_SPEED=50K \
+                 --build-arg WITH_GPU=ON \
+                 --tag  paddle_gpu:latest .
+
+其中，``--build-arg`` 传入的配置参数包括:
+
+- LOWEST\_DL\_SPEED\: 在多线程下载过程中，设置下载线程的最低速度。
+
+  - 默认单位是Bytes，但可以传入10K、10M、或10G等这样的单位。
+  - 如果小于这个速度，那么这个线程将会关闭。当所有的线程都关闭了，那么下载进程将会重启。
+-  WITH\_GPU\: ON or OFF，是否开启GPU功能。注意，
+  - **编译** PaddlePaddle的GPU版本 **不一定** 要在具有GPU的机器上进行。
+  - **运行** PaddlePaddle的GPU版本 **一定** 要在具有GPU的机器上运行。
+
+注意：所有Image的构建在Docker 1.12版本测试通过, 低于1.12的版本并没有测试。原因是旧版本可能缺乏 ``--build-arg`` 参数，从而不能在运行编译命令的时候接受参数。

paddle/cuda/CMakeLists.txt

@@ -34,9 +34,6 @@ else()
         src/hl_warpctc_wrap.cc)
 endif()
 
-set_source_files_properties(${AVX_SOURCES}
-                            PROPERTIES COMPILE_FLAGS "-mavx")
-
 set(CUDA_CU_SOURCES
     src/hl_perturbation_util.cu
     src/hl_cuda_aggregate.cu

paddle/cuda/src/hl_cuda_cnn.cu

@@ -16,6 +16,7 @@ limitations under the License. */
 #include <float.h>
 #include "hl_base.h"
 #include "hl_cnn.h"
+#include "hl_device_functions.cuh"
 
 __global__ void KeFeature2col(size_t n, size_t height, const real* data_im,
                               size_t blockH, size_t blockW, size_t width,
@@ -641,10 +642,10 @@ __global__ void KeBilinearInterpBw(real* in,
     real* inPos =
       &in[outIdH * inputW + channelId * inImgSize + inImgIdy * inImgW + inImgIdx];
     const real* outPos = &out[outIdH * outputW + outIdW];
-    atomicAdd(&inPos[0], h2lambda * w2lambda * outPos[0]);
-    atomicAdd(&inPos[wId], h2lambda * w1lambda * outPos[0]);
-    atomicAdd(&inPos[hId * inImgW], h1lambda * w2lambda * outPos[0]);
-    atomicAdd(&inPos[hId * inImgW + wId], h1lambda * w1lambda * outPos[0]);
+    paddle::paddleAtomicAdd(&inPos[0], h2lambda * w2lambda * outPos[0]);
+    paddle::paddleAtomicAdd(&inPos[wId], h2lambda * w1lambda * outPos[0]);
+    paddle::paddleAtomicAdd(&inPos[hId * inImgW], h1lambda * w2lambda * outPos[0]);
+    paddle::paddleAtomicAdd(&inPos[hId * inImgW + wId], h1lambda * w1lambda * outPos[0]);
   }
 }