Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
Greenplum
DeepSpeed
提交
b29229bf
D
DeepSpeed
项目概览
Greenplum
/
DeepSpeed
上一次同步 大约 1 年
通知
10
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
DeepSpeed
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
b29229bf
编写于
9月 10, 2020
作者:
J
Jeff Rasley
提交者:
Ubuntu
9月 10, 2020
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update docker image and bump DSE
上级
6bb5c69f
变更
3
显示空白变更内容
内联
并排
Showing
3 changed file
with
94 addition
and
46 deletion
+94
-46
DeepSpeedExamples
DeepSpeedExamples
+1
-1
azure-pipelines-docker.yml
azure-pipelines-docker.yml
+1
-1
docker/Dockerfile
docker/Dockerfile
+92
-44
未找到文件。
DeepSpeedExamples
@
a0a80fcc
比较
9e2c34e3
...
a0a80fcc
Subproject commit
9e2c34e31cec99f7d5785c6a1a3b0854c322f883
Subproject commit
a0a80fcc010be54dca1710d71436859eabc52c0c
azure-pipelines-docker.yml
浏览文件 @
b29229bf
...
...
@@ -29,7 +29,7 @@ stages:
displayName
:
Build and Push
inputs
:
command
:
buildAndPush
dockerfile
:
'
$(Build.SourcesDirectory)/Dockerfile'
dockerfile
:
'
$(Build.SourcesDirectory)/
docker/
Dockerfile'
repository
:
deepspeed/deepspeed
tags
:
|
$(tag)
...
...
Dockerfile
→
docker/
Dockerfile
浏览文件 @
b29229bf
...
...
@@ -11,11 +11,13 @@ RUN mkdir -p ${STAGE_DIR}
##############################################################################
RUN
apt-get update
&&
\
apt-get
install
-y
--no-install-recommends
\
software-properties-common
\
openssh-client openssh-server
\
pdsh curl
sudo
net-tools
\
vim iputils-ping wget
#llvm-9-dev cmake
software-properties-common build-essential autotools-dev
\
nfs-common pdsh
\
cmake g++ gcc
\
curl wget vim tmux emacs less unzip
\
htop iftop iotop ca-certificates openssh-client openssh-server
\
rsync iputils-ping net-tools
sudo
\
llvm-9-dev
##############################################################################
# Installation Latest Git
...
...
@@ -25,6 +27,43 @@ RUN add-apt-repository ppa:git-core/ppa -y && \
apt-get
install
-y
git
&&
\
git
--version
##############################################################################
# Client Liveness & Uncomment Port 22 for SSH Daemon
##############################################################################
# Keep SSH client alive from server side
RUN
echo
"ClientAliveInterval 30"
>>
/etc/ssh/sshd_config
RUN
cp
/etc/ssh/sshd_config
${
STAGE_DIR
}
/sshd_config
&&
\
sed
"0,/^#Port 22/s//Port 22/"
${
STAGE_DIR
}
/sshd_config
>
/etc/ssh/sshd_config
##############################################################################
# Mellanox OFED
##############################################################################
ENV
MLNX_OFED_VERSION=4.6-1.0.1.1
RUN
apt-get
install
-y
libnuma-dev
RUN
cd
${
STAGE_DIR
}
&&
\
wget
-q
-O
- http://www.mellanox.com/downloads/ofed/MLNX_OFED-
${
MLNX_OFED_VERSION
}
/MLNX_OFED_LINUX-
${
MLNX_OFED_VERSION
}
-ubuntu18
.04-x86_64.tgz |
tar
xzf -
&&
\
cd
MLNX_OFED_LINUX-
${
MLNX_OFED_VERSION
}
-ubuntu18
.04-x86_64
&&
\
./mlnxofedinstall
--user-space-only
--without-fw-update
--all
-q
&&
\
cd
${
STAGE_DIR
}
&&
\
rm
-rf
${
STAGE_DIR
}
/MLNX_OFED_LINUX-
${
MLNX_OFED_VERSION
}
-ubuntu18
.04-x86_64
*
##############################################################################
# nv_peer_mem
##############################################################################
ENV
NV_PEER_MEM_VERSION=1.1
ENV
NV_PEER_MEM_TAG=1.1-0
RUN
mkdir
-p
${
STAGE_DIR
}
&&
\
git clone https://github.com/Mellanox/nv_peer_memory.git
--branch
${
NV_PEER_MEM_TAG
}
${
STAGE_DIR
}
/nv_peer_memory
&&
\
cd
${
STAGE_DIR
}
/nv_peer_memory
&&
\
./build_module.sh
&&
\
cd
${
STAGE_DIR
}
&&
\
tar
xzf
${
STAGE_DIR
}
/nvidia-peer-memory_
${
NV_PEER_MEM_VERSION
}
.orig.tar.gz
&&
\
cd
${
STAGE_DIR
}
/nvidia-peer-memory-
${
NV_PEER_MEM_VERSION
}
&&
\
apt-get update
&&
\
apt-get
install
-y
dkms
&&
\
dpkg-buildpackage
-us
-uc
&&
\
dpkg
-i
${
STAGE_DIR
}
/nvidia-peer-memory_
${
NV_PEER_MEM_TAG
}
_all.deb
##############################################################################
# OPENMPI
##############################################################################
...
...
@@ -63,6 +102,7 @@ RUN apt-get install -y python3 python3-dev && \
# Print python an pip version
python -V && pip -V
RUN
pip
install
pyyaml
RUN
pip
install
ipython
##############################################################################
# TensorFlow
...
...
@@ -70,6 +110,49 @@ RUN pip install pyyaml
ENV
TENSORFLOW_VERSION=1.15.2
RUN
pip
install
tensorflow-gpu
==
${
TENSORFLOW_VERSION
}
##############################################################################
# Some Packages
##############################################################################
RUN
apt-get update
&&
\
apt-get
install
-y
--no-install-recommends
\
libsndfile-dev
\
libcupti-dev
\
libjpeg-dev
\
libpng-dev
\
screen
RUN
pip
install
psutil
\
yappi
\
cffi
\
ipdb
\
pandas
\
matplotlib
\
py3nvml
\
pyarrow
\
graphviz
\
astor
\
boto3
\
tqdm
\
sentencepiece
\
msgpack
\
requests
\
pandas
\
sphinx
\
sphinx_rtd_theme
\
scipy
\
numpy
\
sklearn
\
scikit-learn
\
nvidia-ml-py3
\
mpi4py
\
cupy-cuda100
##############################################################################
## SSH daemon port inside container cannot conflict with host OS port
###############################################################################
ENV
SSH_PORT=2222
RUN
cat
/etc/ssh/sshd_config
>
${
STAGE_DIR
}
/sshd_config
&&
\
sed
"0,/^#Port 22/s//Port
${
SSH_PORT
}
/"
${
STAGE_DIR
}
/sshd_config
>
/etc/ssh/sshd_config
##############################################################################
# PyTorch
##############################################################################
...
...
@@ -81,46 +164,11 @@ RUN pip install torchvision==${TORCHVISION_VERSION}
RUN
pip
install
tensorboardX
==
${
TENSORBOARDX_VERSION
}
##############################################################################
# Temporary Installation Directory
##############################################################################
ENV
STAGE_DIR=/tmp
RUN
mkdir
-p
${
STAGE_DIR
}
##############################################################################
# Mellanox OFED
##############################################################################
ENV
MLNX_OFED_VERSION=4.6-1.0.1.1
RUN
apt-get
install
-y
libnuma-dev
RUN
cd
${
STAGE_DIR
}
&&
\
wget
-q
-O
- http://www.mellanox.com/downloads/ofed/MLNX_OFED-
${
MLNX_OFED_VERSION
}
/MLNX_OFED_LINUX-
${
MLNX_OFED_VERSION
}
-ubuntu18
.04-x86_64.tgz |
tar
xzf -
&&
\
cd
MLNX_OFED_LINUX-
${
MLNX_OFED_VERSION
}
-ubuntu18
.04-x86_64
&&
\
./mlnxofedinstall
--user-space-only
--without-fw-update
--all
-q
&&
\
cd
${
STAGE_DIR
}
&&
\
rm
-rf
${
STAGE_DIR
}
/MLNX_OFED_LINUX-
${
MLNX_OFED_VERSION
}
-ubuntu18
.04-x86_64
*
##############################################################################
# nv_peer_mem
# PyYAML build issue
# https://stackoverflow.com/a/53926898
##############################################################################
ENV
NV_PEER_MEM_VERSION=1.1
ENV
NV_PEER_MEM_TAG=1.1-0
RUN
mkdir
-p
${
STAGE_DIR
}
&&
\
git clone https://github.com/Mellanox/nv_peer_memory.git
--branch
${
NV_PEER_MEM_TAG
}
${
STAGE_DIR
}
/nv_peer_memory
&&
\
cd
${
STAGE_DIR
}
/nv_peer_memory
&&
\
./build_module.sh
&&
\
cd
${
STAGE_DIR
}
&&
\
tar
xzf
${
STAGE_DIR
}
/nvidia-peer-memory_
${
NV_PEER_MEM_VERSION
}
.orig.tar.gz
&&
\
cd
${
STAGE_DIR
}
/nvidia-peer-memory-
${
NV_PEER_MEM_VERSION
}
&&
\
apt-get update
&&
\
apt-get
install
-y
dkms
&&
\
dpkg-buildpackage
-us
-uc
&&
\
dpkg
-i
${
STAGE_DIR
}
/nvidia-peer-memory_
${
NV_PEER_MEM_TAG
}
_all.deb
##############################################################################
## SSH daemon port inside container cannot conflict with host OS port
###############################################################################
ENV
SSH_PORT=2222
RUN
cat
/etc/ssh/sshd_config
>
${
STAGE_DIR
}
/sshd_config
&&
\
sed
"0,/^#Port 22/s//Port
${
SSH_PORT
}
/"
${
STAGE_DIR
}
/sshd_config
>
/etc/ssh/sshd_config
RUN
rm
-rf
/usr/lib/python3/dist-packages/yaml
&&
\
rm
-rf
/usr/lib/python3/dist-packages/PyYAML-
*
##############################################################################
## Add deepspeed user
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录