Skip to content

F
FluidDoc

PaddlePaddle / FluidDoc

通知 5
Star 2
Fork 0
F
FluidDoc
未验证 提交 8c417243 编写于 作者: D dingjiaweiww 提交者： GitHub
浏览文件
操作

update 1.8 faq (#2570)

上级 65c25109
显示空白变更内容
内联 并排
Showing with 294 addition and 878 deletion
doc/fluid/faq/index_cn.rst
浏览文件 @ 8c417243
##############
FAQ
##############
如果您在使用Paddle框架开发过程中遇到了使用咨询类的问题，希望快速得到官方的答疑和指导，可以先来FAQ中查阅
FAQ模块根据用户的常见问题给出经验性的指导意见以及一些开发tips，能让您快速解决棘手问题并快速验证自己的想法。
FAQ以常见问答对的形式收录了用户在使用Paddle框架时的高频使用咨询类问题，包括 `安装类 <../faq/install_cn.html>`_ 、 `模型框架类 <../faq/train_cn.html>`_ 、 `其他常见问题 <../faq/others_cn.html>`_ 。 其中 `模型框架类 <../faq/train_cn.html>`_ 包含了 `数据处理 <../faq/train_cn.html#id1>`_ 、 `模型搭建 <../faq/train_cn.html#id4>`_、 `模型训练 <../faq/train_cn.html#id6>`_、 `应用预测 <../faq/train_cn.html#id14>`_、 `参数调整 <../faq/train_cn.html#id15>`_ 几类问题。
如果FAQ无法解决您的问题，您也可以在PaddlePaddle的 `Github Issue <https://github.com/PaddlePaddle/Paddle/issues>`_ 中进行提问，我们会有专门的技术人员为您解答。
FAQ问题集：
======================
.. toctree::
:maxdepth: 1
install_cn.rst
train_cn.rst
inference_cn.rst
install_cn.md
.. toctree::
:maxdepth: 2
train_cn.md
.. toctree::
:maxdepth: 1
others_cn.md
doc/fluid/faq/inference_cn.md 已删除 100644 → 0
浏览文件 @ 65c25109
# 预测引擎
## 常见问题
##### Q: 模型保存成功，但加载失败
+ 问题描述
VGG模型，训练时候使用`fluid.io.save_inference_model`保存模型，预测的时候使用`fluid.io.load_inference_model`加载模型文件。保存的是我自己训练的 VGG 模型。保存没问题，加载的时候报错`paddle.fluid.core.EnforceNotMet: Cannot read more from file` ？
+ 问题解答
错误提示可能的原因如下，请检查。
1、 模型文件有损坏或缺失。
2、 模型参数和模型结构不匹配。
## 同时多模型问题
##### Q: 加载两个模型失败
+ 问题描述
infer时，当先后加载检测和分类两个网络时，分类网络的参数为什么未被load进去？
+ 问题解答
尝试两个模型在不同的scope里面infer，使用`with fluid.scope_guard(new_scope)`，另外定义模型前加上`with fluid.unique_name.guard()`解决。
##### Q: 同时使用两个模型报错
+ 问题描述
两个模型都load之后，用第一个模型的时候会报错？
+ 问题解答
由于用`load_inference_model`的时候会修改一些用户不可见的环境变量，所以执行后一个`load_inference_model`的时候会把前一个模型的环境变量覆盖，导致前一个模型不能用，或者说再用的时候就需要再加载一次。此时需要用如下代码保护一下，[参考详情](https://github.com/PaddlePaddle/Paddle/issues/16661)。
```
xxx_scope = fluid.core.Scope()
with fluid.scope_guard(xxx_scope):
[...] = fluid.load_inference_model(...)
```
##### Q: 多线程预测失败
+ 问题描述
c++调用paddlepaddle多线程预测出core？
+ 问题解答
Paddle predict 库里没有多线程的实现，当上游服务并发时，需要用户起多个预测服务，[参考示例](http://paddlepaddle.org/documentation/docs/zh/1.3/advanced_usage/deploy/inference/native_infer.html)。
doc/fluid/faq/install_cn.md
浏览文件 @ 8c417243
# 安装与编译
# 安装类FAQ
##### 问题：Windows环境下，使用pip install时速度慢，如何解决？
+ 解决方案：
在pip后面加上参数`-i`指定pip源，使用国内源获取安装包。
## 下载速度慢
+ 操作步骤：
##### Q: pip install过于缓慢
1. Python2情况下，使用如下命令安装PaddlePaddle。
+ 问题描述:
`pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple/`
使用pip或pip3.5/pip3.6/pip3.7 install paddlepaddle时出现下载过慢的情况
2. Python3情况下，使用如下命令安装PaddlePaddle。
+ 问题解答:
`pip3 install paddlepaddle -i https://mirror.baidu.com/pypi/simple/`
可以在使用pip的时候在后面加上-i参数，指定pip源，使用国内源加速：
您还可以通过如下三个地址获取pip安装包，只需修改 `-i` 后网址即可：
Python2:
https://pypi.tuna.tsinghua.edu.cn/simple
https://mirrors.aliyun.com/pypi/simple/
https://pypi.douban.com/simple/
`pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple/`
------
Python3:
##### 问题：使用pip install时报错，`PermissionError: [WinError 5]` ，如何解决？
`pip3 install paddlepaddle -i https://mirror.baidu.com/pypi/simple/`
+ 问题描述：
这里也可以将 -i 后的参数换成：https://pypi.tuna.tsinghua.edu.cn/simple、https://mirrors.aliyun.com/pypi/simple/、https://pypi.douban.com/simple/
使用pip install时报错，`PermissionError: [WinError 5]` ，
##### Q: github下载耗时
`C:\\program fiels\\python35\\Lib\\site-packages\\graphviz`。
+ 问题描述
+ 报错分析：
使用`git clone https://github.com/PaddlePaddle/models.git`命令下载models目录耗时数个小时
用户权限问题导致，由于用户的Python安装到系统文件内（如”Program Files/“），任何的操作都需要管理员权限。
+ 问题解答
+ 解决方法：
有两种加速方法（需要管理员权限root/administration）:
选择“以管理员身份运行”运行CMD，重新执行安装过程, 使用命令sudo pip install paddlepaddle
1. 编辑hosts 文件
------
Linux/Mac：`vim/etc/hosts`
##### 问题： 使用pip install时报错，`ERROR: No matching distribution found for paddlepaddle` ，如何解决？
Windows：双击 `C:\Windows\System32\drivers\etc\hosts`
+ 问题描述：
2. 添加下面两行内容到hosts文件中
使用pip install时报错，`ERROR: Could not find a version that satisfies the requirement paddlepaddle (from versions: none)`
`151.101.72.249 github.global.ssl.fastly.net`
``ERROR: No matching distribution found for paddlepaddle`
![图片](https://agroup-bos-bj.cdn.bcebos.com/bj-febb18fb78004dc17f18d60a009dc6a8bd907251)
`192.30.253.112 github.com`
+ 报错分析：
Python版本不匹配导致。用户使用的是32位Python，但是对应的32位pip没有PaddlePaddle源。
## 环境问题
+ 解决方法：
##### Q: 报错：libmkldnn.so not found
请用户使用64位的Python进行PaddlePaddle安装。
+ 问题描述
------
paddle运行时报libmkldnn.so not found。
##### 问题： 在GPU上执行程序报错，`Error：Segmentation fault`，如何解决？
+ 问题解答
+ 问题描述：
请设置为 export LD_LIBRARY_PATH=/home/disk1/yitengfei/paddle_release_home/python/lib/python2.7/site-packages/paddle/libs/:$LD_LIBRARY_PATH。 注：具体请按照自己的文件路径填写。
在GPU版本为`paddlepaddle_gpu-1.8.4.post87-cp27-cp27mu-manylinux1_x86_64.whl`的环境上执行一个程序，出现`Error：Segmentation fault`。如果将`place`修改“cpu”，则程序可正常运行。
##### Q: CPU版本可运行，GPU版本运行失败
+ 报错分析：
+ 问题描述
造成该报错的原因通常是环境不匹配导致的。安装时，GPU版本为`paddlepaddle_gpu-1.8.4.post87-cp27-cp27mu-manylinux1_x86_64.whl`，`post87`表示需要在CUDA8.0、cuDNN7.0进行编译。如果机器上没有安装对应版本的CUDA和cuDNN，会导致执行程序时报错。
版本为paddlepaddle_gpu-0.14.0.post87-cp27-cp27mu-manylinux1_x86_64.whl，跑一个简单的测试程序，出现Segmentation fault。其中 如果place为cpu，可以正常输出，改成gpu则core。
此外值得注意的是，配置PaddlePaddle的GPU版本，不仅需要CUDA和cuDNN版本匹配，还需要与PaddlePaddle版本匹配。出现类似错误时请检查这三个程序的版本是否匹配。
+ 问题解答
+ 解决方法：
安装版本为`paddlepaddle_gpu-0.14.0.post87-cp27-cp27mu-manylinux1_x86_64.whl`，其中post87是指在CUDA8.0、cudnn7.0编译的，请确定您机器上是否安装了对应版本的cuDNN。造成问题描述中现象的情况通常可能是环境不匹配导致的。
CUDA的安装可参考：https://docs.nvidia.com/cuda/archive/10.0/index.html；cuDNN的安装可参考：https://docs.nvidia.com/deeplearning/cudnn/install-guide/#install-windows。
##### Q: 可以用 IDE 吗？
------
+ 问题解答
##### 问题： 本地使用import paddle时报错，`ModuleNotFoundError:No module named ‘paddle’`，如何解决？
当然可以，因为源码就在本机上。IDE 默认调用 make 之类的程序来编译源码，我们只需要配置 IDE 来调用 Docker 命令编译源码即可。
+ 报错分析：
很多 PaddlePaddle 开发者使用 Emacs。他们在自己的 `~/.emacs` 配置文件里加两行:
原因在于用户的计算机上可能安装了多个版本的Python，而安装PaddlePaddle时的Python和import paddle时的Python版本不一致导致报错。如果用户熟悉PyCharm等常见的IDE配置包安装的方法，配置运行的方法，则可以避免此类问题。
`global-set-key "\C-cc" 'compile`
+ 解决方法：
`setq compile-command "docker run --rm -it -v $(git rev-parse --show-toplevel):/paddle paddle:dev"`
用户明确安装Paddle的python位置，并切换到该python进行安装。可能需要使用python -m pip install paddlepaddle命令确保paddle是安装到该python中。
就可以按 `Ctrl-C` 和 `c` 键来启动编译了。
------
##### Q: 可以并行编译吗？
##### 问题： 使用PaddlePaddle GPU的Docker镜像时报错， `Cuda Error: CUDA driver version is insufficient for CUDA runtime version`，如何解决？
+ 问题解答
+ 报错分析：
是的。我们的 Docker image 运行一个 [Bash 脚本](https://github.com/PaddlePaddle/Paddle/blob/develop/paddle/scripts/paddle_build.sh)。这个脚本调用`make -j$(nproc)` 来启动和 CPU 核一样多的进程来并行编译。
机器上的CUDA驱动偏低导致。
##### Q: 磁盘不够？
+ 解决方法：
+ 问题解答
需要升级CUDA驱动解决。
在本文中的例子里，`docker run` 命令里都用了 `--rm` 参数，这样保证运行结束之后的 containers 不会保留在磁盘上。可以用 `docker ps -a` 命令看到停止后但是没有删除的 containers。`docker build` 命令有时候会产生一些中间结果，是没有名字的 images，也会占用磁盘。
1. Ubuntu和CentOS环境，需要把相关的驱动和库映射到容器内部。如果使用GPU的docker环境，需要用nvidia-docker来运行，更多请参考nvidia-docker。
2. Windows环境，需要升级CUDA驱动。
## CPU
------
### 源代码编译问题
##### 问题： 使用PaddlePaddle时报错，`Error: no CUDA-capable device is detected`，如何解决？
#### Linux系统
+ 报错分析：
##### Q: CentOS6下如何编译python2.7为共享库
CUDA安装错误导致。
+ 问题解答
+ 解决方法：
使用以下指令：
查找“libcudart.so”所在目录，并将其添加到“LD_LIBRARY_PATH”中。
```
./configure --prefix=/usr/local/python2.7 --enable-shared
make && make install
```
例如：执行`find / -name libcudart.so`, 发现libcudart.so在“/usr/local/cuda-10.0/targets/x86_64-linux/lib/libcudart.so”路径下， 使用如下命令添加即可。
##### Q: 安装swig后找不到swig
`export LD_LIBRARY_PATH=/usr/local/cuda-10.0/targets/x86_64-linux/lib/libcudart.so$LD_LIBRARY_PATH`
+ 问题描述
------
ubuntu14编译安装时已经安装了swig，之后在虚环境中make编译时报找不到swig错误。
##### 问题： 如何升级PaddlePaddle？
+ 问题解答
+ 答复：
安装时没有严格按照官网安装流程的顺序安装，退出虚环境再安装一次swig。
1. GPU环境：
##### Q: 源代码编译安装后出现版本错误
+ 问题描述
`pip install -U paddlepaddle-gpu`
在Liunx环境上，通过编译源码的方式安装PaddlePaddle，当安装成功后，运行 `paddle version`, 出现 `PaddlePaddle 0.0.0`？
或者
+ 问题解答
`pip install paddlepaddle-gpu == 需要安装的版本号（如2.0）`
如果运行 `paddle version`, 出现`PaddlePaddle 0.0.0`；或者运行 `cmake ..`，出现
2. CPU环境：
```bash
CMake Warning at cmake/version.cmake:20 (message):
Cannot add paddle version from git tag
```
`pip install -U paddlepaddle`
在dev分支下这个情况是正常的，在release分支下通过export PADDLE_VERSION=对应版本号来解决。
或者
##### Q: Ubuntu编译时大量代码段不能识别
`pip install paddlepaddle == 需要安装的版本号（如2.0）`
+ 问题解答
------
这可能是由于cmake版本不匹配造成的，请在gcc的安装目录下使用以下指令：
##### 问题： 在GPU上如何选择PaddlePaddle版本？
```
apt install gcc-4.8 g++-4.8
cp gcc gcc.bak
cp g++ g++.bak
rm gcc
rm g++
ln -s gcc-4.8 gcc
ln -s g++-4.8 g++
```
+ 答复：
#### MacOS系统
##### Q: 在 Windows/MacOS 上编译很慢？
+ 问题解答
Docker 在 Windows 和 MacOS 都可以运行。不过实际上是运行在一个Linux虚拟机上。可能需要注意给这个虚拟机多分配一些 CPU 和内存，以保证编译高效。具体做法请参考[issue627](https://github.com/PaddlePaddle/Paddle/issues/627)。
##### Q: 编译develop分支代码后出现No such file or directory
+ 问题描述
MacOS本地编译PaddlePaddle github上develop分支的代码出现，出现No such file or directory错误？
+ 问题解答
因为此时develop分支上Generating build/.timestamp这一步涉及的代码还在进行修改，所以并不能保证稳定，建议切换回稳定分支进行编译安装。
可以通过执行如下命令将分支切换到0.14.0进行编译:
```bash
cd Paddle
git checkout -b release/1.1
cd build && rm -rf *
cmake .. -DWITH_FLUID_ONLY=ON -DWITH_GPU=OFF -DWITH_TESTING=OFF
make -j4
```
编译成功后的结果如图：
![](https://user-images.githubusercontent.com/17102274/42515418-4fb71e56-848e-11e8-81c6-da2a5553a27a.png)
##### Q: 找不到各种module
+ 问题描述
在MacOSX上从源码编译，最后`cmake ..`时
`Could NOT find PY_google.protobuf (missing: PY_GOOGLE.PROTOBUF)
CMake Error at cmake/FindPythonModule.cmake:27 (message):
python module google.protobuf is not found`
若通过-D设置路径后，又会有其他的如`Could not find PY_wheel`等其他找不到的情况
+ 问题解答
![](https://cloud.githubusercontent.com/assets/728699/19915727/51f7cb68-a0ef-11e6-86cc-febf82a07602.png)
如上，当cmake找到python解释器和python库时，如果安装了许多pythons，它总会找到不同版本的Python。在这种情况下，您应该明确选择应该使用哪个python。
通过cmake显式设置python包。只要确保python libs和python解释器是相同的python可以解决所有这些问题。当这个python包有一些原生扩展时，例如numpy，显式set python包可能会失败。
##### Q: `ld terminated with signal 9 [Killed]`错误
+ 问题描述
在MacOS下，本地直接编译安装PaddlePaddle遇到`collect2: ld terminated with signal 9 [Killed]` ？
+ 问题解答
该问题是由磁盘空间不足造成的，你的硬盘要有30G+的空余空间，请尝试清理出足够的磁盘空间，重新安装。
##### Q: Error 2
+ 问题描述
MacOS本机直接通过源码编译的方式安装PaddlePaddle出现`[paddle/fluid/platform/CMakeFiles/profiler_py_proto.dir/all] Error 2`？
+ 报错截图
![](https://user-images.githubusercontent.com/17102274/42515350-28c055ce-848e-11e8-9b90-c294b375d8a4.png)
+ 问题解答
使用cmake版本为3.4则可。自行编译建议GCC版本:4.8、5.4以及更高。
##### Q: `wget: command not found`
+ 问题描述
MacOS 10.12下编译PaddlePaddle出现`/bin/sh: wget: command not found`，如何解决？
+ 问题解答
报错的原因从报错输出的信息中可以发现，即没有有找到wget命令，安装wget则可，安装命令如下：
```bash
brew install wget
```
##### Q: `Configuring incomplete, errors occured!`
+ 问题描述
以源码方式在MacOS上安装时，出现`Configuring incomplete, errors occured!`？
+ 问题解答
安装PaddlePaddle编译时需要的各种依赖则可，如下：
```bash
pip install wheel
brew install protobuf@3.1
pip install protobuf==3.1.0
```
如果执行pip install protobuf==3.1.0时报错，输出下图内容：
![](https://user-images.githubusercontent.com/17102274/42515286-fb7a7b76-848d-11e8-931a-a7f61bd6374b.png)
从图中可以获得报错的关键为`Cannot uninstall 'six'`，那么解决方法就是先安装好`six`，再尝试安装`protobuf 3.1.0`如下：
```bash
easy_install -U six
pip install protobuf==3.1.0
```
##### Q: 基于Docker容器编译 VS MacOS本机编译
+ 问题描述
PaddlePaddle官方文档中，关于MacOS下安装PaddlePaddle只提及了MacOS中使用Docker环境安装PaddlePaddle的内容，没有Mac本机安装的内容？
+ 问题解答
基于Docker容器编译PaddlePaddle与本机上直接编译PaddlePaddle，所使用的编译执行命令是不一样的，但是官网仅仅给出了基于Docker容器编译PaddlePaddle所执行的命令。
1.基于Docker容器编译PaddlePaddle，需要执行：
```bash
# 1. 获取源码
git clone https://github.com/PaddlePaddle/Paddle.git
cd Paddle
# 2. 可选步骤：源码中构建用于编译PaddlePaddle的Docker镜像
docker build -t paddle:dev .
# 3. 执行下面的命令编译CPU-Only的二进制
docker run -it -v $PWD:/paddle -e "WITH_GPU=OFF" -e "WITH_TESTING=OFF" paddlepaddle/paddle_manylinux_devel:cuda8.0_cudnn5 bash -x /paddle/paddle/scripts/paddle_build.sh build
# 4. 或者也可以使用为上述可选步骤构建的镜像（必须先执行第2步）
docker run -it -v $PWD:/paddle -e "WITH_GPU=OFF" -e "WITH_TESTING=OFF" paddle:dev
```
2.直接在本机上编译PaddlePaddle，需要执行：
```bash
# 1. 使用virtualenvwrapper创建python虚环境并将工作空间切换到虚环境
mkvirtualenv paddle-venv
workon paddle-venv
# 2. 获取源码
git clone https://github.com/PaddlePaddle/Paddle.git
cd Paddle
# 3. 执行下面的命令编译CPU-Only的二进制
mkdir build && cd build
cmake .. -DWITH_GPU=OFF -DWITH_TESTING=OFF
make -j$(nproc)
```
更详细的内容，请参考[官方文档](http://paddlepaddle.org/documentation/docs/zh/1.4/beginners_guide/install/install_MacOS.html)
### 安装冲突
##### Q: Error-平台不支持
+ 问题描述
安装PaddlePaddle过程中，出现`paddlepaddle\*.whl is not a supported wheel on this platform`？
+ 问题解答
`paddlepaddle\*.whl is not a supported wheel on this platform`表示你当前使用的PaddlePaddle不支持你当前使用的系统平台，即没有找到和当前系统匹配的paddlepaddle安装包。最新的paddlepaddle python安装包支持Linux x86_64和MacOS 10.12操作系统，并安装了python 2.7和pip 9.0.1。
请先尝试安装最新的pip，方法如下：
```bash
pip install --upgrade pip
```
如果还不行，可以执行 `python -c "import pip; print(pip.pep425tags.get_supported())"` 获取当前系统支持的python包的后缀，
并对比是否和正在安装的后缀一致。
如果系统支持的是 `linux_x86_64` 而安装包是 `manylinux1_x86_64` ，需要升级pip版本到最新；
如果系统支持 `manylinux1_x86_64` 而安装包（本地）是 `linux_x86_64` ，可以重命名这个whl包为 `manylinux1_x86_64` 再安装。
##### Q: NumPy & Python冲突
+ 问题描述
因为需要安装numpy等包，但在Mac自带的Python上无法安装，权限错误导致难以将PaddlePaddle正常安装到Mac本地？
+ 问题解答
Mac上对自带的Python和包有严格的权限保护，最好不要在自带的Python上安装。建议用virtualenv建立一个新的Python环境来操作。virtualenv的基本原理是将机器上的Python运行所需的运行环境完整地拷贝一份。我们可以在一台机器上制造多份拷贝，并在这多个拷贝之间自由切换，这样就相当于在一台机器上拥有了多个相互隔离、互不干扰的Python环境。
下面使用virtualenv为Paddle生成一个专用的Python环境。
安装virtualenv，virtualenv本身也是Python的一个包，可以用pip进行安装：
```
sudo -H pip install virtualenv
```
由于virtualenv需要安装给系统自带的Python，因此需要使用sudo权限。接着使用安装好的virtualenv创建一个新的Python运行环境：
```
virtualenv --no-site-packages paddle
```
--no-site-packages 参数表示不拷贝已有的任何第三方包，创造一个完全干净的新Python环境。后面的paddle是我们为这个新创建的环境取的名字。执行完这一步后，当前目录下应该会出现一个名为paddle（或者你取的其他名字）的目录。这个目录里保存了运行一个Python环境所需要的各种文件。
启动运行环境：
```
source paddle/bin/activate
```
执行后会发现命令提示符前面增加了(paddle)字样，说明已经成功启动了名为‘paddle’的Python环境。执行which python，可以发现使用的已经是刚刚创建的paddle目录下的Python。在这个环境中，我们可以自由地进行PaddlePaddle的安装、使用和开发工作，无需担心对系统自带Python的影响。
如果我们经常使用Paddle这个环境，我们每次打开终端后都需要执行一下source paddle/bin/activate来启动环境，比较繁琐。为了简便，可以修改终端的配置文件，来让终端每次启动后自动启动特定的Python环境。
执行:
```
vi ~/.bash_profile
```
打开终端配置文件，并在文件的最后添加一行：
```
source paddle/bin/activate
```
这样，每次打开终端时就会自动启动名为‘paddle’的Python环境了。
### 安装后无法使用
##### Q: 安装后无法import paddle.fluid
+ 问题描述
MacOS下安装PaddlePaddle后import paddle.fluid出现`Fatal Python error: PyThreadState_Get: no current thread running`错误
+ 问题解答
For Python2.7.x （install by brew): 请使用`export LD_LIBRARY_PATH=/usr/local/Cellar/python@2/2.7.15_1/Frameworks/Python.framework/Versions/2.7 && export DYLD_LIBRARY_PATH=/usr/local/Cellar/python@2/2.7.15_1/Frameworks/Python.framework/Versions/2.7`
For Python2.7.x （install by Python.org): 请使用`export LD_LIBRARY_PATH=/Library/Frameworks/Python.framework/Versions/2.7 && export DYLD_LIBRARY_PATH=/Library/Frameworks/Python.framework/Versions/2.7`
For Python3.5.x （install by Python.org): 请使用`export LD_LIBRARY_PATH=/Library/Frameworks/Python.framework/Versions/3.5/ && export DYLD_LIBRARY_PATH=/Library/Frameworks/Python.framework/Versions/3.5/`
##### Q: CPU版本训练中自动退出
+ 问题描述
成功安装了PaddlePaddle CPU版本后，使用Paddle训练模型，训练过程中，Paddle会自动退出，gdb显示Illegal instruction？
+ 问题解答
CPU版本PaddlePaddle自动退出的原因通常是因为所在机器不支持AVX2指令集而主动abort。简单的判断方法：
用gdb-7.9以上版本（因编译C++文件用的工具集是gcc-4.8.2，目前只知道gdb-7.9这个版本可以debug gcc4编译出来的目标文件）：
```bash
$ /path/to/gdb -iex "set auto-load safe-path /" -iex "set solib-search-path /path/to/gcc-4/lib" /path/to/python -c core.xxx
```
在gdb界面：
```bash
(gdb) disas
```
找到箭头所指的指令，例如：
```bash
0x00007f381ae4b90d <+3101>: test %r8,%r8
=> 0x00007f381ae4b912 <+3106>: vbroadcastss %xmm0,%ymm1
0x00007f381ae4b917 <+3111>: lea (%r12,%rdx,4),%rdi
```
然后google一下这个指令需要的指令集。上面例子中的带xmm和ymm操作数的vbroadcastss指令只在AVX2中支持
然后看下自己的CPU是否支持该指令集
```bash
cat /proc/cpuinfo | grep flags | uniq | grep avx --color
```
如果没有AVX2，就表示确实是指令集不支持引起的主动abort。
如果没有AVX2指令集，就需要要安装不支持AVX2指令集版本的PaddlePaddle，默认安装的PaddlePaddle是支持AVX2指令集的，因为AVX2可以加速模型训练的过程，更多细节可以参考[安装文档](http://paddlepaddle.org/documentation/docs/zh/1.4/beginners_guide/install/index_cn.html)。
##### Q: Python相关单元测试失败
+ 问题描述
安装完了PaddlePaddle后，出现以下python相关的单元测试都过不了的情况：
```
24 - test_PyDataProvider (Failed)
26 - test_RecurrentGradientMachine (Failed)
27 - test_NetworkCompare (Failed)
28 - test_PyDataProvider2 (Failed)
32 - test_Prediction (Failed)
33 - test_Compare (Failed)
34 - test_Trainer (Failed)
35 - test_TrainerOnePass (Failed)
36 - test_CompareTwoNets (Failed)
37 - test_CompareTwoOpts (Failed)
38 - test_CompareSparse (Failed)
39 - test_recurrent_machine_generation (Failed)
40 - test_PyDataProviderWrapper (Failed)
41 - test_config_parser (Failed)
42 - test_swig_api (Failed)
43 - layers_test (Failed)
```
并且查询PaddlePaddle单元测试的日志，提示：
```
paddle package is already in your PYTHONPATH. But unittest need a clean environment.
Please uninstall paddle package before start unittest. Try to 'pip uninstall paddle'.
```
+ 问题解答
卸载PaddlePaddle包 `pip uninstall paddle`, 清理掉老旧的PaddlePaddle安装包，使得单元测试有一个干净的环境。如果PaddlePaddle包已经在python的site-packages里面，单元测试会引用site-packages里面的python包，而不是源码目录里 `/python` 目录下的python包。同时，即便设置 `PYTHONPATH` 到 `/python` 也没用，因为python的搜索路径是优先已经安装的python包。
## GPU
### 安装过程中报错
##### Q: Error: no CUDA-capable device is detected
+ 问题描述
使用paddle时出现no CUDA-capable device is detected错误
+ 问题解答
没装对cuda。建议查找libcudart.so在哪个目录下，并将其加到LD_LIBRARY_PATH中。例如: find / -name libcudart.so, 可以发现libcudart.so在/usr/local/cuda-8.0/targets/x86_64-linux/lib/libcudart.so， 然后使用命令export LD_LIBRARY_PATH=/usr/local/cuda-8.0/targets/x86_64-linux/lib/libcudart.so$LD_LIBRARY_PATH即可
##### Q: Error: after cudaFuncGetAttributes: invalid device function
+ 问题描述
在A机器上编译的paddle，在B机器上跑报错Runtime Error: function_attributes(): after cudaFuncGetAttributes: invalid device function
+ 问题解答
应该是在A上编译的时候选择的GPU的架构与B机器上的GPU架构不兼容，建议用户在B上重新编译
##### Q: Error: Can not load core_noavx.* .ImportError
+ 问题描述
为了更好的支持paddle安装包在不同指令集（AVX和没有AVX）的机器上运行，近期对paddle核心core文件进行了修改（有重命名），可能会导致开发者遇到类似如下warning或者错误：
```
WARNING: Can not import avx core. You may not build with AVX, but AVX is supported on local machine, you could build paddle WITH_AVX=ON to get bettwe performance. Error: Can not load core_noavx.* .ImportError
```
+ 问题解读
这条信息分为2个，前者是warning，是追求性能的warning，普通情况可以忽略。后者是，Error：往后才是导致不能继续运行的地方。
+ 问题解答
1. 更新最新代码，如上图的错误代表您还不是最新代码，请更新之后尝试。
2. 如果您机器上之前本来就安装有paddlepaddle，请使用pip install -U paddlepaddle， 加上-U选项明确代表升级。
3. 如果问题还存在，可能问题原因是之前build缓存没有删除导致，可以make clean，删除build目录下的python目录从而删除原有缓存，重新编译安装即可。
4. 如果仍然有问题，当然，通常到这里就已经不是paddle本身的问题了，并且该错误跟AVX本身没有任何关系，请怀疑下您的运行环境是否和编译环境一致，包括glibc，python版本等信息。或者，是您的加了什么代码，没有正确加到pybind导致的错误。
1. 请仔细查看错误信息，会提示缺失或者load错误的原因。
2. 请确认安装后的python目录下（通常会在/usr/local/lib/python2.7/dist-packages/paddle/fluid）中是否有core_avx.so或者core_noavx.so，这两文件其中一个，或者两个都有。如果都没有，或者只有core.so那说明第一和二步没有正确执行。并请仔细查看python输出的load失败的报错信息。通常这个是因为编译和运行不在一个环境导致的错误，比如glibc版本不匹配等，这个与本次升级无关。
##### Q: 报错“nccl.h找不到”
+ 问题解答：
请[安装nccl2](https://developer.nvidia.com/nccl/nccl-download)
#### 安装过程中cuDNN报错
##### Q: CUDNN_STATUS_NOT_INITIALIZED
+ 问题描述
遇到如下cuDNN报错如何解决？
```
CUDNN_STATUS_NOT_INITIALIZED at [/paddle/paddle/fluid/platform/device_context.cc:216]
```
+ 问题解答
cuDNN与CUDA版本不一致导致。PIP安装的GPU版本默认使用CUDA 9.0和cuDNN 7编译，请根据您的环境配置选择在官网首页选择对应的安装包进行安装，例如paddlepaddle-gpu==1.2.0.post87 代表使用CUDA 8.0和cuDNN 7编译的1.2.0版本。
#### 安装过程中CUDA报错
##### Q: cuda9.0对应paddle版本
+ 问题描述
cuda9.0需要安装哪一个版本的paddle，安装包在哪?
+ 问题解答
`pip install paddlepaddle-gpu`命令将安装支持CUDA 9.0 cuDNN v7的PaddlePaddle，可以参考[安装说明文档](http://paddlepaddle.org/documentation/docs/zh/1.4/beginners_guide/install/index_cn.html)
##### Q: driver version is insufficient for runtime version
+ 问题描述
在使用PaddlePaddle GPU的Docker镜像的时候，出现 `Cuda Error: CUDA driver version is insufficient for CUDA runtime version`？
+ 问题解答
通常出现 `Cuda Error: CUDA driver version is insufficient for CUDA runtime version`, 原因在于机器上CUDA驱动偏低，需要升级CUDA驱动加以解决。
Ubuntu和CentOS环境，可以把相关的驱动和库映射到容器内部。
Windows环境，需要升级CUDA驱动。
Ubuntu和CentOS下如果使用GPU的docker环境，需要用nvidia-docker来运行。
更多请参考[nvidia-docker](https://github.com/NVIDIA/nvidia-docker)
#### Docker
使用Docker出现编译错误，请额外参照GitHub上[Issue12079](https://github.com/PaddlePaddle/Paddle/issues/12079)
##### Q: 无法下载golang
+ 问题描述
根据官方文档中提供的步骤安装Docker，无法下载需要的golang，导致`tar: Error is not recoverable: exiting now`？
+ 报错截图
![](https://user-images.githubusercontent.com/17102274/42516245-314346be-8490-11e8-85cc-eb95e9f0e02c.png)
+ 问题解答
由上图可知，生成docker镜像时需要下载[golang](https://storage.googleapis.com/golang/go1.8.1.linux-amd64.tar.gz)，使用者需要保证电脑可以科学上网。
选择下载并使用docker.paddlepaddlehub.com/paddle:latest-devdocker镜像，执行命令如下：
```
git clone https://github.com/PaddlePaddle/Paddle.git
cd Paddle
git checkout -b 0.14.0 origin/release/0.14.0
sudo docker run --name paddle-test -v $PWD:/paddle --network=host -it docker.paddlepaddlehub.com/paddle:latest-dev /bin/bash
```
进入docker编译GPU版本的PaddlePaddle，执行命令如下：
```
mkdir build && cd build
# 编译GPU版本的PaddlePaddle
cmake .. -DWITH_FLUID_ONLY=ON -DWITH_GPU=ON -DWITH_TESTING=ON
make -j$(nproc)
```
通过上面的方式操作后：
![](https://user-images.githubusercontent.com/17102274/42516287-46ccae8a-8490-11e8-9186-985efff3629c.png)
接着安装PaddlePaddle并运行线性回归test_fit_a_line.py程序测试一下PaddlePaddle是安装成功则可
```bash
pip install build/python/dist/*.whl
python python/paddle/fluid/tests/book/test_fit_a_line.py
```
##### Q: 在Docker镜像上，GPU版本的PaddlePaddle运行结果报错
+ 问题描述
![](https://user-images.githubusercontent.com/17102274/42516300-50f04f8e-8490-11e8-95f1-613d3d3f6ca6.png)
![](https://user-images.githubusercontent.com/17102274/42516303-5594bd22-8490-11e8-8c01-55741484f126.png)
+ 问题解答
使用`sudo docker run --name paddle-test -v $PWD:/paddle --network=host -it docker.paddlepaddlehub.com/paddle:latest-dev /bin/bash`命令创建的docker容器仅能支持运行CPU版本的PaddlePaddle。
使用如下命令重新开启支持GPU运行的docker容器：
```
export CUDA_SO="$(\ls /usr/lib64/libcuda* | xargs -I{} echo '-v {}:{}') $(\ls /usr/lib64/libnvidia* | xargs -I{} echo '-v {}:{}')"
export DEVICES=$(\ls /dev/nvidia* | xargs -I{} echo '--device {}:{}')
sudo docker run ${CUDA_SO} ${DEVICES} --rm --name paddle-test-gpu -v /usr/bin/nvidia-smi:/usr/bin/nvidia-smi -v $PWD:/paddle --network=host -it docker.paddlepaddlehub.com/paddle:latest-dev /bin/bash
```
进入docker之后执行如下命令进行PaddlePaddle的安装及测试运行：
```
export LD_LIBRARY_PATH=/usr/lib64:/usr/local/lib:$LD_LIBRARY_PATH
pip install build/python/dist/*.whl
python python/paddle/fluid/tests/book/test_fit_a_line.py
```
### 安装后无法使用
##### Q: GPU安装成功，无法import
+ 问题描述
使用 `sudo nvidia-docker run --name Paddle -it -v $PWD:/work hub.baidubce.com/paddlepaddle/paddle:latest-gpu-cuda8.0-cudnn7 /bin/bash`，安装成功后，出现如下问题
```
import paddle.fluid
*** Aborted at 1539682149 (unix time) try "date -d @1539682149" if you are using GNU date ***
PC: @ 0x0 (unknown)
*** SIGILL (@0x7f6ac6ea9436) received by PID 16 (TID 0x7f6b07bc7700) from PID 18446744072751846454; stack trace: ***
```
+ 问题解答
请先确定一下机器是否支持AVX2指令集，如果不支持，请按照相应的不支持AVX2指令集的PaddlePaddle，可以解决该问题。
##### Q: 曾经运行成功，现在运行失败
+ 问题描述
使用 `pip install paddlepaddle-gpu==0.14.0.post87`命令在公司内部开发GPU机器上安装PaddlePaddle，按照官网安装：pip install paddlepaddle-gpu==0.14.0.post87，执行 import paddle.fluid as fluid 失败。奇怪的是，同样的环境下，上周运行成功，这周确运行失败，求解答？
+ 问题解答
这通常是GPU显存不足导致的，请检查一下机器的显存，确保显存足够后再尝试import paddle.fluid
##### Q: 安装成功后，示例运行失败
+ 问题描述
安装的是cuda9.0和cudnn7.0，默认安装的是0.14.0.post87，训练一个手写数据那个例子的时候报错？
+ 问题解答
该问题通常是GPU显存不足造成的，请在显存充足的GPU服务器上再次尝试则可。可以检查一下机器的显存使用情况。
方法如下：
```bash
test@test:~$ nvidia-smi
Tue Jul 24 08:24:22 2018
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 384.130 Driver Version: 384.130 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 GeForce GTX 960 Off | 00000000:01:00.0 On | N/A |
| 22% 52C P2 100W / 120W | 1757MiB / 1994MiB | 98% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| 0 1071 G /usr/lib/xorg/Xorg 314MiB |
| 0 1622 G compiz 149MiB |
| 0 2201 G fcitx-qimpanel 7MiB |
| 0 15304 G ...-token=58D78B2D4A63DAE7ED838021B2136723 74MiB |
| 0 15598 C python 1197MiB |
+-----------------------------------------------------------------------------+
```
## 卸载问题
##### Q: 报错`Cannot uninstall 'six'.`
+ 问题描述
此问题可能与系统中已有Python有关，请使用`pip install paddlepaddle --ignore-installed six`（CPU）或`pip install paddlepaddle --ignore-installed six`（GPU）解决
pip install paddlepaddle-gpu==需要安装的版本号+'.post'+CUDA主版本+CUDNN主版本 例：pip install paddlepaddle-gpu==1.8.4.post97表示需要在CUDA9.0、cuDNN7.0进行安装。更多安装信息请见官网：https://www.paddlepaddle.org.cn/start
doc/fluid/faq/others_cn.md 0 → 100644
浏览文件 @ 8c417243
# 其他常见问题
##### 问题：import paddle.fluid后logging模块无法使用，如何解决？
+ 答复：操作方法可以参考[#issue17731](https://github.com/PaddlePaddle/Paddle/issues/17731)。
----------
##### 问题：使用X2paddle 从Caffe 转Paddle model时，报错 `TypeError: __new__() got an unexpected keyword argument 'serialized_options'` ，如何处理？
+ 答复：这是由于ProtoBuf版本较低导致，将protobuf升级到3.6.0即可解决。
----------
##### 问题：Windows环境下，出现"Windows not support stack backtrace yet"，如何处理？
+ 答复：Windows环境下，遇到程序报错不会详细跟踪内存报错内容。这些信息对底层开发者更有帮助，普通开发者不必关心这类警告。如果想得到完整内存追踪错误信息，可以尝试更换至Linux系统。
----------
doc/fluid/faq/train_cn.md
浏览文件 @ 8c417243
# 网络搭建及训练
# 框架类FAQ
## 数据处理
## 模型介绍
##### 问题：如何处理图片小但数量很大的数据集？
##### Q: sigmoid中num_classes意义？
+ 答复：`multiprocess_reader`可以解决该问题，具体可参考[Github示例](https://github.com/PaddlePaddle/Paddle/issues/16592)。
+ 问题描述
----------
sigmoid二分类，`sigmoid_cross_entropy_with_logits`，其中num_classes的意义是什么？
##### 问题：使用`py_reader`读取数据时，如何给变量命名？
+ 问题解答
+ 答复：可以通过设置里面的name变量。具体方法请参考飞桨[create_py_reader_by_data](https://www.paddlepaddle.org.cn/documentation/docs/zh/1.3/api_cn/layers_cn.html#create-py-reader-by-data) API。
`sigmoid_cross_entropy_with_logits`里面的num_classes是指有多个分类标签，而且这些标签之间相互独立，这样对每个分类都会有一个预测概率。举个例子，假如我们要做一个视频动作分类，有如下几个标签（吃饭，聊天，走路，打球），那么num_classes = 4。一个视频可以同时有多个ground truth标签是1，比如这里可能是(1, 1, 0, 0)，也就是一边吃饭一边聊天的场景。而一个可能的预测概率是(0.8, 0.9, 0.1, 0.3)，那么计算损失函数的时候，要对每个分类标签分别计算`sigmoid cross entropy`。
----------
##### Q：proto信息解释文档？
##### 问题：使用多卡或多GPU进行数据并行时，如何设置异步数据读取？
+ 问题描述
+ 答复：使用多卡或多GPU进行数据并行时，需要设置：`places = fluid.cuda_places() if USE_CUDA else fluid.cpu_places(CPU_NUM)`，具体内容可以参考文档：[异步数据读取](https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/user_guides/howto/prepare_data/use_py_reader.html) 。
PaddlePaddle的proto信息相关的解释文档？
----------
+ 问题解答
##### 问题：使用`paddle.dataset.mnist.train()`获得数据后，如何转换为可操作的Tensor？
proto信息可以打印出来，然后参考Github [framework.prot](https://github.com/PaddlePaddle/Paddle/blob/develop/paddle/fluid/framework/framework.proto)文件进行解释。
+ 答复：执行`fluid.dygraph.to_varibale()`，将data数据转化为可以操作的动态图Tensor。
----------
## 模型调用
##### 问题：如何给图片添加一个通道数，并进行训练？
##### Q: 如何不训练某层的权重？
+ 答复：执行`np.expand_dims`增加维度后再reshape。如果需要通道合并，可以执行`fluid.layers.concat()`。
+ 问题解答
----------
ParamAttr里配置`learning_rate=0`。
##### 问题：`paddle.fluid.layers.py_reader`和`fluid.io.PyReader`有什么区别？
##### Q: 根据输出结束模型运行？
+ 答复：两个都是异步的。推荐使用`fluid.io.PyReader`。
+ 问题描述
----------
PaddlePaddle可以像tf一样根据输出，只执行模型的一部分么？
##### 问题：有拓展Tensor维度的Op吗？
+ 问题解答
+ 答复：有的，操作方法请参考[unsqueeze op](https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/layers_cn/unsqueeze_cn.html) 。
目前的executor会执行整个program。建议做法是，在定义program的时候提前clone出一个子program，如当前`inference_program = fluid.default_main_program().clone(for_test=True)`的做法。
----------
##### Q: 遍历每一个时间布？
##### 问题：是否支持两维以上的变长tensor，如：shape[-1, -1, 128]？
+ 问题描述
+ 答复：配置网络时`shape`可以设置为：[-1，*任意整数*，128]，输入时`shape`可以设置为：[*任意整数，**任意整数*，128]。维度只是个占位，网络运行时的实际维度是从输入数据中推导出来的。两个"任意整数" 在输入和配置时可以不相等，但是配置网络时，第一维度必须为-1。
在RNN模型中如何遍历序列数据里每一个时间步？
----------
+ 问题解答
##### 问题：如何从np.array生成一个具有Shape和DType的Tensor?
对于LodTensor数据，分步处理每一个时间步数据的需求，大部分情况可以使用`DynamicRNN`，[参考示例](https://github.com/PaddlePaddle/Paddle/blob/develop/python/paddle/fluid/tests/book/test_machine_translation.py#L69) ，其中`rnn.step_input`即是每一个时间步的数据，`rnn.memory`是需要更新的rnn的hidden state，另外还有个`rnn.static_input`是rnn外部的数据在DynamicRNN内的表示（如encoder的output），可以利用这三种数据完成所需操作。
+ 答复：具体方法可参考文档 [LoD-Tensor使用说明]( https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/user_guides/howto/basic_concept/lod_tensor.html) 。
rank_table记录了每个sequence的长度，DynamicRNN中调用了lod_tensor_to_array在产生array时按照rank_table做了特殊处理（sequence从长到短排序后从前到后进行slice），每个时间步数据的batch size可能会缩小（短的sequence结束时），这是Fluid DynamicRNN的一些特殊之处。
对于非LoDTensor数据，可以使用StaticRNN，用法与上面类似，参考[语言模型示例]( https://github.com/PaddlePaddle/models/blob/develop/PaddleNLP/shared_modules/models/language_model/lm_model.py#L261)。
----------
##### Q: NumPy读取出fc层W矩阵？
##### 问题：如何初始化一个随机数的Tensor？
+ 问题描述
+ 答复：
PaddlePaddle中训练好的fc层参数，有没有直接用numpy 读取出fc层的W矩阵的示例代码呢？
+ 问题解答
weight名字在构建网络的时候可以通过param_attr指定，然后用`fluid.global_scope().find_var("weight_name").get_tensor()`。
ta = fluid.create_lod_tensor(np.random.randn(10, 5), [], fluid.CPUPlace())
##### Q: `stop_gradient=True`影响范围？
tb = fluid.create_lod_tensor(np.ones([5, 10]), [], place)
+ 问题描述
print(np.array(ta))
请问fluid里面如果某一层使用`stop_gradient=True`，那么是不是这一层之前的层都会自动 `stop_gradient=True`?
print(np.array(tb))
+ 问题解答
是的，梯度不回传了。
##### Q: 如何获取accuracy？
## 模型搭建
+ 问题描述
##### 问题：如何不训练某层的权重？
根据models里面的[ctr例子](https://github.com/PaddlePaddle/models/blob/develop/PaddleRec/ctr/dnn/infer.py)改写了一个脚本，主要在train的同时增加test过程，方便选择模型轮次，整体训练测试过程跑通，不过无法获取accuracy？
+ 答复：在`ParamAttr`里设置learning_rate=0。
+ 问题解答
----------
AUC中带有LOD 信息，需要设置`return_numpy=False `来获得返回值。
##### 问题：`stop_gradient=True`的影响范围？
##### Q: 模型运行过程中如何获取某个变量的值？
+ 答复：如果fluid里某一层使用`stop_gradient=True`，那么这一层之前的层都会自动 `stop_gradient=True`，梯度不再回传。
+ 问题描述
----------
在使用Executor运行模型时，如何获取模型中某个变量的值。
##### 问题：请问`fluid.layers.matmul`和`fluid.layers.mul`有什么区别？
+ 问题解答
+ 答复：`matmul`支持broadcast和任意阶相乘。`mul`会把输入都转成两维去做矩阵乘。
Executor的run方法提供了`fetch_list`参数，如果用户想获取运行模型中某个变量的值，只需要该变量添加到`fetch_list`中即可，详细用法可参考[Executor的示例](https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/api_cn/executor_cn.html#executor)。
----------
##### Q: 图片小数量大数据集处理方法
+ 问题描述
对于图片小但数量很大的数据集有什么好的处理方法？
## 模型训练&评估
+ 问题解答
##### 问题：在CPU上进行模型训练，如何使用多线程？
`multiprocess_reader`可以解决该问题。参考[Github示例](https://github.com/PaddlePaddle/Paddle/issues/16592)。
+ 答复：可以参考使用[ParallelExecutor API](https://www.paddlepaddle.org.cn/documentation/docs/zh/1.3/api_cn/fluid_cn.html#parallelexecutor)。
##### Q: Libnccl.so报错如何解决？
----------
+ 报错信息
##### 问题：如何提高单CPU多线程利用率？
```
Failed to find dynamic library: libnccl.so ( libnccl.so: cannot open shared object file: No such file or directory ）
```
+ 答复：线程数是设备同时并行执行程序的个数，可以将线程数设置为“CPU的个数*CPU的核数”。可以通过
+ 问题解答
`os.getenv("CPU_NUM")`或者`os.environ['CPU_NUM'] = str(2)`获取相关参数值。
按照以下步骤做检查：
----------
1、先确定是否安装libnccl.so
##### 问题：使用NVIDIA多卡运行Paddle时报错，`Error：NCCL ContextMap`或者`Error：hang住`（log日志打印突然卡住），如何解决？
2、确定环境变量是否配置正确
+ 答复：参考[NCCL Tests](https://github.com/NVIDIA/nccl-tests)检测您的环境。如果检测不通过，请登录[NCCL官网](https://developer.nvidia.com/zh-cn)下载NCCl，安装后重新检测。
```
export LD_LIBRARY_PATH=`pwd`/nccl_2.1.4-1+cuda8.0_x86_64/lib:$LD_LIBRARY_PATH
```
----------
3、确定是否要配置软链
##### 问题：多卡训练时启动失败，`Error：Out of all 4 Trainers`，如何处理？
```
cd /usr/lib/x86_64-linux-gnu
ln -s libnccl.so.2 libnccl.so
```
+ 问题描述：多卡训练时启动失败，显示如下信息：
![图片](https://agroup-bos-bj.cdn.bcebos.com/bj-13d1b5df218cb40b0243d13450ab667f34aee2f7)
## 模型保存
+ 报错分析：PaddlePaddle安装版本和多卡训练不匹配导致。
##### Q: 保存模型API选择
+ 解决方法：排查当前安装的PaddlePaddle是否支持并行训练。如果是开发者编译的Paddle，请在编译时打开 `WITH_DISTRIBUTE`选项。
+ 问题描述
----------
请说明一下如下两个接口的适用场景，现在保存模型都不知用哪个：`save_inference_model`、`save_params`？
##### 问题：训练过程中提示显存不足，如何处理？
+ 问题解答
+ 答复：这是一种常见情况，你可以尝试调整`batch_size`大小，也可以更改网络模型，或者参考官方文档[显存分配与优化](https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/advanced_usage/best_practice/memory_optimize.html) 。建议用户使用[AI Studio 学习与 实训社区训练](https://aistudio.baidu.com/aistudio/index)，获取免费GPU算力，速度更快。
`save_inference_model`主要是用于预测的，该API除了会保存预测时所需的模型参数，还会保存预测使用的模型结构。而`save_params`会保存一个program中的所有参数，但是不保存该program对应的模型结构。参考[模型保存与加载](http://paddlepaddle.org/documentation/docs/zh/1.4/api_guides/low_level/model_save_reader.html)
----------
##### Q: 保存模型报错
##### 问题：GPU显存占用过高，如何解决？
+ 问题描述
+ 答复：建议调整 `FLAGS_fraction_of_gpu_memory_to_use` ，并检查`batch_size` 。通过设置较小的`batch_size`能降低显存消耗；`FLAGS_fraction_of_gpu_memory_to_use`默认值为 =0.92, 当申请不到需要的显存时会直接报内存不足。如遇到此情况，可以先检查一下GPU卡是否被占用，再设置较小的值，以启动程序。
CTR模型保存模型时报错
----------
+ 代码文件：[network_conf.py](https://github.com/PaddlePaddle/models/blob/develop/PaddleRec/ctr/dnn/network_conf.py)只修改了最后一行：
##### 问题：GPU内存不足，报错 `Error：Out of memory error GPU`，如何处理？
```
accuracy = fluid.layers.accuracy(input=predict, label=words[-1])
auc_var, batch_auc_var, auc_states = \
fluid.layers.auc(input=predict, label=words[-1], num_thresholds=2 ** 12, slide_steps=20)
return accuracy, avg_cost, auc_var, batch_auc_var, py_reader
```
+ 问题描述：
+ 问题解答
![图片](https://agroup-bos-bj.cdn.bcebos.com/bj-3cbc8370534cb998f321af9b32aa2859403d9c9d)
保存模型时需指定program 才能正确保存。请使用`executor = Executor(place)`, 你的train_program, 以及给`layers.data`指定的名称作为`save_inference_model` 的输入。
+ 解决方案：
1. 检查是当前模型是否占用内存过高，可尝试减小`batch_size` ；
2. 开启以下三个选项：
`#一旦不再使用即释放内存垃圾，=1.0 垃圾占用内存大小达到10G时，释放内存垃圾`
`export FLAGS_eager_delete_tensor_gb=0.0`
`#启用快速垃圾回收策略，不等待cuda kernel 结束，直接释放显存`
`export FLAGS_fast_eager_deletion_mode=1`
`#该环境变量设置只占用0%的显存`
`export FLAGS_fraction_of_gpu_memory_to_use=0`
## 参数相关
----------
##### Q: 本地数据传入embedding的参数矩阵
##### 问题：如何提升模型训练时的GPU利用率？
+ 问题描述
+ 答复：有如下两点建议：
如何将本地数据传入embedding的参数矩阵中？
1. 如果数据预处理耗时较长，可使用py_Reader 或 multiprocess_reader加速；
+ 问题解答
2. 如果提高GPU计算量，可以增加`batch_size`，但是注意调节其他超参数。
需将本地词典向量读取为numpy数据格式，然后使用fluid.initializer.NumpyArrayInitializer这个op初始化fluid.layers.embedding里的param_attr参数。即可实现加载用户自定义（或预训练）的embedding向量。
以上两点均为比较通用的方案，其他的优化方案和模型相关，可参考相应models示例。
##### Q: 如何查看w和b的值
----------
+ 问题描述
##### 问题：使用CPU或GPU时，如何设置`num_threds`？
如何查看paddle.fluid.layers.fc生成的w和b的值？
+ 答复：
+ 问题解答
1. 如果是CPU，最大可以设置到当前CPU的内核数。
2. 如果是GPU，受显卡多处理器的寄存器数目限制，例如GeForce 8800GT的显卡，最多8192个寄存器。假设每个线程需要的寄存器等于16，则最多只有512个线程。再高的线程将会将数据切换的显卡显存，反而降低执行效率。
可以通过param_t = fluid.global_scope().find_var(param_name).get_tensor()查看，
param_name可以自己指定，如果不知道的话，可以通过 param_list = fluid.framework.default_main_program().block(0).all_parameters() 看一下。
----------
##### Q: 共享向量权重
##### 问题：如何处理变长ID导致程序内存占用过大的问题？
+ 问题描述
+ 答复：请先参考[显存分配与优化文档](https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/advanced_usage/best_practice/memory_optimize.html) 开启存储优化开关，包括显存垃圾及时回收和Op内部的输出复用输入等。若存储空间仍然不够，建议：
fluid.layers.embedding中如何实现多个feature间共享该层的向量权重？
1. 降低`batch_size`；
2. 对index进行排序，减少padding的数量。
+ 问题解答
----------
将所有embedding层中param_attr参数里的name设置为同一个，即可实现共享向量权重。如`param_attr=fluid.ParamAttr(name="word_embedding")`。
##### 问题：Executor与ParallelExecutor有什么区别？
##### Q: 手动输入参数并改变？
+ 答复：如果没有指定Scope，所有的Executor都会共享一个Scope，即`global_scope`。
+ 问题描述
1. `fluid.Executor`执行对象是Program，可以认为是一个轻量级的执行器，目前主要用于参数初始化、参数加载、参数模型保存。
PaddlePaddle的全连接层，可不可以手动输入参数比如weights和bias并禁止优化器比如optimizer.SGD在模型训练的时候改变它？
2. `fluid.ParallelExecutor`的执行对象是Graph，ParallelExecutor内部会将Program转为Graph，这样更便于对模型进行分析。
+ 问题解答
----------
可以通过ParamAttr设置参数的属性，`fluid.ParamAttr( initializer=fluid.initializer.Normal(0.0, 0.02), learning_rate=2.0)`，其中learning_rate设置为0，就不会修改。手动输入参数也可以实现，但是会比较麻烦。
##### 问题：训练过程中如果出现不收敛的情况，如何处理？
##### Q: `fluid.unique_name.guard()`影响范围
+ 答复：不收敛的原因有很多，可以参考如下方式排查：
+ 问题描述
1. 检查数据集中训练数据的准确率，数据是否有很多错误，特征是否归一化；
2. 简化网络结构，先基于benchmark实验，确保在baseline网络结构和数据集上的收敛结果正确；
3. 对于复杂的网络，每次只增加一个改动，确保改动后的网络正确；
4. 检查网络在训练数据上的Loss是否下降；
5. 检查学习率、优化算法是否合适，学习率过大会导致不收敛；
6. 检查`batch_size`设置是否合适，`batch_size`过小会导致不收敛；
7. 检查梯度计算是否正确，是否有梯度过大的情况，是否为NaN。
batch norm 里面的两个参数：moving_mean_name、moving_variance_name应该是两个var，但是他们却没有受到 `with fluid.unique_name.guard()` 的影响，导致名字重复？
----------
+ 问题解答
##### 问题：Loss为NaN，如何处理？
用户指定的name的优先级高于unique_name生成器，所以名字不会被改变。
+ 答复：可能由于网络的设计问题，Loss过大（Loss为NaN）会导致梯度爆炸。如果没有改网络结构，但是出现了NaN，可能是数据读取导致，比如标签对应关系错误。
##### Q: 2fc层共享参数？
----------
+ 问题描述
##### 问题：在AI Studio上使用GPU训练时报错 `Attempt to use GPU for prediction, but environment variable CUDA_VISIBLE_DEVICES was not set correctly.`，如何处理？
怎么配置让两个fc层共享参数？
+ 答复：需要在Notebook环境中增加：`%set_env CUDA_VISIBLE_DEVICES=0`。
+ 问题解答
----------
只要指定param_attr相同名字即可，是`param_attr = fluid.ParamAttr(name='fc_share')`，然后把param_attr传到fc里去。
##### 问题：使用GPU训练时报错，`Error：incompatible constructor arguments.`，如何处理？
+ 问题描述：
![图片](https://agroup-bos-bj.cdn.bcebos.com/bj-3779aa5b33dbe1f05ba2bfeabb2d22d4270d1929)
## LoD-Tensor数据结构相关
+ 报错分析：`CUDAPlace()`接口没有指定GPU的ID编号导致。
##### Q: 拓展tensor纬度
+ 答复：CUDAPlace()接口需要指定GPU的ID编号，接口使用方法参见：[paddle.fluid.CUDAPlace](https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/fluid_cn/CUDAPlace_cn.html)。
+ 问题描述
----------
PaddlePaddle有拓展tensor维度的op吗？
##### 问题：增量训练中，如何保存模型和恢复训练？
+ 问题解答
+ 答复：在增量训练过程中，不仅需要保存模型的参数，也需要保存模型训练的状态（如learning_rate）。使用[save_persistables](https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/api_cn/dygraph_cn.html#save-persistables)保存模型训练的参数和状态；恢复训练时，使用[load_persistables](https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/api_cn/dygraph_cn.html#load-persistables)进行恢复训练。
请参[unsqueeze op](http://paddlepaddle.org/documentation/docs/zh/1.3/api/layers.html#unsqueeze)，例如[1,2]拓展为[1，2，1]
----------
##### Q: 多维变长tensor?
##### 问题：训练后的模型很大，如何压缩？
+ 问题描述
+ 答复：建议您使用飞桨模型压缩工具[PaddleSlim](https://www.paddlepaddle.org.cn/tutorials/projectdetail/489539)。PaddleSlim是飞桨开源的模型压缩工具库，包含模型剪裁、定点量化、知识蒸馏、超参搜索和模型结构搜索等一系列模型压缩策略，专注于**模型小型化技术**。
PaddlePaddle是否支持两维以上的变长tensor，如shape[-1, -1, 128]？
----------
+ 问题解答
配置网络的时候可以将shape写成[-1,任意正数,128]，然后输入的时候shape可以为[任意正数,任意正数,128]。维度只是个占位，运行网络的时候的实际维度是从输入数据推导出来的。两个"任意整数" 在输入和配置的时候可以不相等。配置网络的时候第一维度必须为-1。
##### Q: vector -> LodTensor
## 应用预测
+ 问题描述
##### 问题：load_inference_model在加载预测模型时能否用py_reader读取？
C++ 如何把std::vector转换成LodTensor的方法?
+ 答复：目前`load_inference_model`加载进行的模型还不支持py_reader输入。
+ 问题解答
----------
如下示例
```cpp
std::vector<int64_t> ids{1918, 117, 55, 97, 1352, 4272, 1656, 903};
framework::LoDTensor words;
auto size = static_cast<int>(ids.size());
framework::LoD lod{{0, ids.size()}};
DDim dims{size, 1};
words.Resize(dims);
words.set_lod(lod);
auto *pdata = words.mutable_data<int64_t>();
size_t n = words.numel() * sizeof(int64_t);
memcpy(pdata, ids.data(), n);
```
##### Q: 报错holder should not be null
## 参数调整
+ 错误信息
##### 问题：如何将本地数据传入`fluid.dygraph.Embedding`的参数矩阵中？
```
C++ Callstacks:
holder should not be null
Tensor not initialized yet when Tensor::type() is called. at [/paddle/paddle/fluid/framework/tensor.h:145]
PaddlePaddle Call Stacks:
```
+ 答复：需将本地词典向量读取为NumPy数据格式，然后使用`fluid.initializer.NumpyArrayInitializer`这个op初始化`fluid.dygraph.Embedding`里的`param_attr`参数，即可实现加载用户自定义（或预训练）的Embedding向量。
+ 问题解答
------
错误提示是某个tensor为空。建议运行时加上环境变量GLOG_vmodule=operator=4 , GLOG_logtostderr=1看看运行到哪个op，哪个tensor为空。
##### 问题：如何实现网络层中多个feature间共享该层的向量权重？
+ 答复：将所有网络层中`param_attr`参数里的`name`设置为同一个，即可实现共享向量权重。如使用embedding层时，可以设置`param_attr=fluid.ParamAttr(name="word_embedding")`，然后把param_attr传入embedding中。
## pyreader
----------
##### Q: 加载模型时pyreader使用
##### 问题：如何修改全连接层参数，如：weights、bias、optimizer.SGD？
+ 问题描述
+ 答复：可以通过`param_attr`设置参数的属性，`fluid.ParamAttr( initializer=fluid.initializer.Normal(0.0, 0.02), learning_rate=2.0)`，如果`learning_rate`设置为0，该层就不参与训练。手动输入参数也可以实现，但是会比较麻烦。
调用`save_inference_model`后，`load_inference_model`加载预测模型的时候用py_reader读取，`feeded_var_names`为空也无法通过feed输入了。py_reader此刻应该如何声明？
----------
+ 问题解答
##### 问题：使用optimizer或ParamAttr设置的正则化和学习率，二者什么差异？
目前`load_inference_model`加载进行的模型还不支持py_reader输入。
+ 答复：ParamAttr中定义的`regularizer`优先级更高。若ParamAttr中定义了`regularizer`，则忽略Optimizer中的`regularizer`；否则，则使用Optimizer中的`regularizer`。学习率的设置也可以参考此方式。
##### Q: 变量取名
----------
+ 问题描述
##### 问题：如何导出指定层的权重，如导出最后一层的*weights*和*bias*？
使用py_reader读取数据的时候，怎么给读取的变量指定名字呢？
+ 答复：使用`save_vars`保存指定的vars，然后使用`load_vars`加载对应层的参数值。具体示例请见API文档：[load_vars](https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/io_cn/load_vars_cn.html#load-vars) 和 [save_vars](https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/io_cn/save_vars_cn.html#save-vars) 。
+ 问题解答
----------
参考[create_py_reader_by_data](http://paddlepaddle.org/documentation/docs/zh/1.3/api_cn/layers_cn.html#create-py-reader-by-data)
##### 问题：训练过程中如何固定网络和Batch Normalization（BN）？
+ 答复：
1. 对于固定BN：设置 `use_global_stats=True`，使用已加载的全局均值和方差：`global mean/variance`，具体内容可查看官网文档[BatchNorm](https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/dygraph_cn/BatchNorm_cn.html)。
2. 对于固定网络层：如： stage1→ stage2 → stage3 ，设置stage2的输出，假设为*y*，设置 `y.stop_gradient=True`，那么， stage1→ stage2整体都固定了，不再更新。
----------
##### 问题：优化器设置时报错`AttributeError: parameter_list argument given to the Optimizer should not be None in dygraph mode.`，如何处理？
+ 错误分析：必选参数缺失导致。
+ 答复：飞桨1.7版本之后需要在optimizer的设置中加入必选项`param_list`。
----------
##### 问题：`fluid.layer.pool2d`的全局池化参数和设置参数有关系么？
+ 答复：如果设置`global_pooling`，则设置的`pool_size`将忽略，不会产生影响。
----------
Markdown is supported
0% 或 .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑！
想要评论请 注册 或