compile_Ubuntu.md 9.3 KB
Newer Older
1 2
# **Ubuntu下从源码编译**

3
## 环境准备
4

5 6 7 8
* *64位操作系统*
* *Ubuntu 14.04 /16.04 /18.04*
* *Python 2.7/3.5/3.6/3.7*
* *pip或pip3 >= 9.0.1*
9

10
## 选择CPU/GPU
11

12
* 如果您的计算机没有 NVIDIA® GPU,请编译CPU版的PaddlePaddle
13

14 15 16 17 18
* 如果您的计算机有NVIDIA® GPU,并且满足以下条件,推荐编译GPU版的PaddlePaddle
    * *CUDA 工具包9.0配合cuDNN v7*
    * *CUDA 工具包8.0配合cuDNN v7*
    * *CUDA 工具包8.0配合cuDNN v5*
    * *GPU运算能力超过1.0的硬件设备*
19

20
## 安装步骤
21

22
在Ubuntu的系统下有2种编译方式:
23

24 25
* Docker源码编译(暂不支持Ubuntu18.04下GPU版本)
* 本机源码编译
26

S
shanyi15 已提交
27
<a name="ubt_docker"></a>
28
### 用Docker编译
29

30
[Docker](https://docs.docker.com/install/)是一个开源的应用容器引擎。使用Docker,既可以将PaddlePaddle的安装&使用与系统环境隔离,也可以与主机共享GPU、网络等资源
31

32
使用Docker编译PaddlePaddle,您需要:
33

34
- 在本地主机上[安装Docker](https://hub.docker.com/search/?type=edition&offering=community)
35

36
- 如需在Linux开启GPU支持,请[安装nvidia-docker](https://github.com/NVIDIA/nvidia-docker)
37

38
请您按照以下步骤安装:
39 40 41 42 43 44 45

1. 请首先选择您希望储存PaddlePaddle的路径,然后在该路径下使用以下命令将PaddlePaddle的源码从github克隆到本地当前目录下名为Paddle的文件夹中:

	`git clone https://github.com/PaddlePaddle/Paddle.git`

2. 进入Paddle目录下: `cd Paddle`

46
3. 创建并进入满足编译环境的Docker容器:
47 48

	`docker run --name paddle-test -v $PWD:/paddle --network=host -it hub.baidubce.com/paddlepaddle/paddle:latest-dev /bin/bash`
S
shanyi15 已提交
49

50 51
	> --name paddle-test为您创建的Docker容器命名为paddle-test,-v $PWD:/paddle 将当前目录挂载到Docker容器中的/paddle目录下(Linux中PWD变量会展开为当前路径的[绝对路径](https://baike.baidu.com/item/绝对路径/481185)),-it 与宿主机保持交互状态,`hub.baidubce.com/paddlepaddle/paddle:latest-dev` 使用名为`hub.baidubce.com/paddlepaddle/paddle:latest-dev`的镜像创建Docker容器,/bin/bash 进入容器后启动/bin/bash命令。

52 53 54 55 56
4. 进入Docker后进入paddle目录下:

	`cd paddle`

5. 切换到较稳定release分支下进行编译:
57

58 59 60
	`git checkout [分支名]`

	例如:
61

62
	`git checkout release/1.2`
63

64 65
	注意:python3.6、python3.7版本从release/1.2分支开始支持

66 67 68 69
6. 创建并进入/paddle/build路径下:

	`mkdir -p /paddle/build && cd /paddle/build`

70
7. 使用以下命令安装相关依赖:
71 72

		For Python2: pip install protobuf==3.1.0
73
		For Python3: pip3.5 install protobuf==3.1.0
S
shanyi15 已提交
74

75 76
	注意:以上用Python3.5命令来举例,如您的Python版本为3.6/3.7,请将上述命令中的Python3.5改成Python3.6/Python3.7

77 78 79
	> 安装protobuf 3.1.0。

	`apt install patchelf`
S
shanyi15 已提交
80

81 82
	> 安装patchelf
	这是一个小而实用的程序,用于修改ELF可执行文件的动态链接器和RPATH
83

S
shanyi15 已提交
84 85
8. 执行cmake:

86
	>具体编译选项含义请参见[编译选项表](../Tables.html/#Compile)
87

88 89 90
	>请注意修改参数`-DPY_VERSION`为您希望编译使用的python版本, 例如`-DPY_VERSION=3.5`表示python版本为3.5.x

	*  编译**CPU版本PaddlePaddle**:
91

L
lujun 已提交
92
		`cmake .. -DPY_VERSION=3.5 -DWITH_FLUID_ONLY=ON -DWITH_GPU=OFF -DWITH_TESTING=OFF -DCMAKE_BUILD_TYPE=Release`
93

94
	*  编译**GPU版本PaddlePaddle**:
95

L
lujun 已提交
96
		`cmake .. -DPY_VERSION=3.5 -DWITH_FLUID_ONLY=ON -DWITH_GPU=ON -DWITH_TESTING=OFF -DCMAKE_BUILD_TYPE=Release`
97 98 99 100

9. 执行编译:

	`make -j$(nproc)`
S
shanyi15 已提交
101

102 103 104 105
	> 使用多核编译

10. 编译成功后进入`/paddle/build/python/dist`目录下找到生成的`.whl`包: `cd /paddle/build/python/dist`

106
11. 在当前机器或目标机器安装编译好的`.whl`包:
107 108

		For Python2: pip install (whl包的名字)
109
		For Python3: pip3.5 install (whl包的名字)
S
shanyi15 已提交
110

111
	注意:以上涉及Python3的命令,用Python3.5来举例,如您的Python版本为3.6/3.7,请将上述命令中的Python3.5改成Python3.6/Python3.7
112

113
恭喜,至此您已完成PaddlePaddle的编译安装。您只需要进入Docker容器后运行PaddlePaddle,即可开始使用。更多Docker使用请参见[Docker官方文档](https://docs.docker.com)
114

115
> 注:PaddlePaddle Docker镜像为了减小体积,默认没有安装`vim`,您可以在容器中执行 `apt-get install -y vim` 来安装。
S
shanyi15 已提交
116 117

<a name="ubt_source"></a>
118 119 120 121
### ***本机编译***

1. 检查您的计算机和操作系统是否符合我们支持的编译标准: `uname -m && cat /etc/*release`

122
2. 更新`apt`的源: `apt update`, 并提前安装[OpenCV](https://opencv.org/releases.html)
123

L
lujun 已提交
124
3. 我们支持使用virtualenv进行编译安装,首先请使用以下命令创建一个名为`paddle-venv`的虚环境:
S
shanyi15 已提交
125

126
	* a. 安装Python-dev:
S
shanyi15 已提交
127 128

			For Python2: apt install python-dev
129 130
			For Python3: apt install python3.5-dev

131
	* b. 安装pip: (请保证拥有9.0.1及以上版本的pip):
S
shanyi15 已提交
132

133
			For Python2: apt install python-pip
J
JiabinYang 已提交
134
			For Python3: apt-get udpate && apt-get install -y software-properties-common && add-apt-repository ppa:deadsnakes/ppa && apt install curl && curl https://bootstrap.pypa.io/get-pip.py -o - | python3.5 && easy_install pip
S
shanyi15 已提交
135

136
	* c. 安装虚环境`virtualenv`以及`virtualenvwrapper`并创建名为`paddle-venv`的虚环境:
137 138 139 140 141

		1.  `apt install virtualenv` 或 `pip install virtualenv` 或 `pip3 install virtualenv`
		2.  `apt install virtualenvwrapper` 或 `pip install virtualenvwrapper` 或 `pip3 install virtualenvwrapper`
		3.  找到`virtualenvwrapper.sh`: `find / -name virtualenvwrapper.sh`
		4.  (Only for Python3) 设置虚环境的解释器路径:`export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3.5`
L
lujun 已提交
142 143
		5.  查看`virtualenvwrapper.sh`中的安装方法: `cat virtualenvwrapper.sh`, 该shell文件中描述了步骤及命令
		6.  按照`virtualenvwrapper.sh`中的描述,安装`virtualwrapper`
144 145
		7.  创建名为`paddle-venv`的虚环境: `mkvirtualenv paddle-venv`

146 147
	注意:以上涉及Python3的命令,用Python3.5来举例,如您的Python版本为3.6/3.7,请将上述命令中的Python3.5改成Python3.6/Python3.7

L
lujun 已提交
148
4. 进入虚环境:`workon paddle-venv`
149

150
5. **执行编译前**请您确认在虚环境中安装有[编译依赖表](../Tables.html/#third_party)中提到的相关依赖:
151 152 153 154

	* 这里特别提供`patchELF`的安装方法,其他的依赖可以使用`apt install`或者`pip install` 后跟依赖名称和版本安装:

		`apt install patchelf`
S
shanyi15 已提交
155

156 157 158 159 160 161 162 163 164 165
		> 不能使用apt安装的用户请参见patchElF github[官方文档](https://gist.github.com/ruario/80fefd174b3395d34c14)

5. 将PaddlePaddle的源码clone在当下目录下的Paddle的文件夹中,并进入Padde目录下:

	- `git clone https://github.com/PaddlePaddle/Paddle.git`

	- `cd Paddle`

6. 切换到较稳定release分支下进行编译,将中括号以及其中的内容替换为**目标分支名**

166 167 168 169 170
	`git checkout [分支名]`

	例如:

	`git checkout release/1.2`
171 172 173 174 175

7. 并且请创建并进入一个叫build的目录下:

	`mkdir build && cd build`

S
shanyi15 已提交
176 177
8. 执行cmake:

178
	>具体编译选项含义请参见[编译选项表](../Tables.html/#Compile)
179

180
	*  对于需要编译**CPU版本PaddlePaddle**的用户:
181

S
shanyi15 已提交
182 183
			For Python2: cmake .. -DWITH_FLUID_ONLY=ON -DWITH_GPU=OFF -DWITH_TESTING=OFF -DCMAKE_BUILD_TYPE=Release
			For Python3: cmake .. -DPY_VERSION=3.5 -DWITH_FLUID_ONLY=ON -DWITH_GPU=OFF -DWITH_TESTING=OFF -DCMAKE_BUILD_TYPE=Release
184 185 186

	* 对于需要编译**GPU版本PaddlePaddle**的用户:(*仅支持ubuntu16.04/14.04*)

S
shanyi15 已提交
187 188 189 190 191
		1. 请确保您已经正确安装nccl2,或者按照以下指令安装nccl2(这里提供的是ubuntu 16.04,CUDA9,cuDNN7下nccl2的安装指令),更多版本的安装信息请参考NVIDIA[官方网站](https://developer.nvidia.com/nccl/nccl-download):
			i. `wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb`
			ii.  `dpkg -i nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb`
			iii. `sudo apt-get install -y libnccl2=2.2.13-1+cuda9.0 libnccl-dev=2.2.13-1+cuda9.0`

L
lujun 已提交
192
		2. 如果您已经正确安装了`nccl2`,就可以开始cmake了:(*For Python3: 请给PY_VERSION参数配置正确的python版本*)
193

194 195 196 197
			For Python2: cmake .. -DWITH_FLUID_ONLY=ON -DWITH_GPU=ON -DWITH_TESTING=OFF -DCMAKE_BUILD_TYPE=Release
			For Python3: cmake .. -DPY_VERSION=3.5 -DWITH_FLUID_ONLY=ON -DWITH_GPU=ON -DWITH_TESTING=OFF -DCMAKE_BUILD_TYPE=Release

	注意:以上涉及Python3的命令,用Python3.5来举例,如您的Python版本为3.6/3.7,请将上述命令中的Python3.5改成Python3.6/Python3.7
198 199 200 201 202 203 204 205 206 207 208

9. 使用以下命令来编译:

	`make -j$(nproc)`

10. 编译成功后进入`/paddle/build/python/dist`目录下找到生成的`.whl`包: `cd /paddle/build/python/dist`

11. 在当前机器或目标机器安装编译好的`.whl`包:

	`pip install (whl包的名字)`或`pip3 install (whl包的名字)`

209
恭喜,至此您已完成PaddlePaddle的编译安装
210 211 212 213 214

## ***验证安装***
安装完成后您可以使用:`python``python3` 进入Python解释器,然后使用`import paddle.fluid` 验证是否安装成功。

## ***如何卸载***
215
请使用以下命令卸载PaddlePaddle:
216 217 218 219 220

* ***CPU版本的PaddlePaddle***: `pip uninstall paddlepaddle``pip3 uninstall paddlepaddle`

* ***GPU版本的PaddlePaddle***: `pip uninstall paddlepaddle-gpu``pip3 uninstall paddlepaddle-gpu`

221
使用Docker安装PaddlePaddle的用户,请进入包含PaddlePaddle的容器中使用上述命令,注意使用对应版本的pip