Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleDetection
提交
23b6dfd0
P
PaddleDetection
项目概览
PaddlePaddle
/
PaddleDetection
大约 1 年 前同步成功
通知
695
Star
11112
Fork
2696
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
184
列表
看板
标记
里程碑
合并请求
40
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleDetection
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
184
Issue
184
列表
看板
标记
里程碑
合并请求
40
合并请求
40
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
23b6dfd0
编写于
11月 08, 2016
作者:
C
chenguoyan01
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
modify some words in paddle_on_kubernetes docs
上级
2aa8c616
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
9 addition
and
10 deletion
+9
-10
doc_cn/build_and_install/distributed_training_on_kubernetes.md
...n/build_and_install/distributed_training_on_kubernetes.md
+2
-3
doc_cn/build_and_install/paddle_on_kubernetes.md
doc_cn/build_and_install/paddle_on_kubernetes.md
+7
-7
未找到文件。
doc_cn/build_and_install/
cluster_train
_on_kubernetes.md
→
doc_cn/build_and_install/
distributed_training
_on_kubernetes.md
浏览文件 @
23b6dfd0
#
使用Kubernetes进行
分布式训练
#
Paddle on Kubernetes:
分布式训练
>前一篇文章介绍了如何使用Kubernetes Job进行一次单机的Paddle训练。在这篇文档里,我们介绍如何使用 Kubernetes 进行Paddle的集群训练作业。
>关于Paddle的分布式集群训练,可以参考 [Cluster Training](https://github.com/baidu/Paddle/blob/develop/doc/cluster/opensource/cluster_train.md), 本文在此基础上,利用了Kubernetes快速构建Paddle集群,进行分布式训练任务。
前一篇文章介绍了如何在Kubernetes集群上启动一个单机Paddle训练作业 (Job)。在这篇文章里,我们介绍如何在Kubernetes集群上启动分布式Paddle训练作业。关于Paddle的分布式集群训练,可以参考
[
Cluster Training
](
https://github.com/baidu/Paddle/blob/develop/doc/cluster/opensource/cluster_train.md
)
, 本文在此基础上,利用Kubernetes快速构建Paddle集群,进行分布式训练任务。
## 制作镜像
...
...
doc_cn/build_and_install/paddle_on_kubernetes.md
浏览文件 @
23b6dfd0
# Paddle On Kubernetes
# Paddle On Kubernetes
:单机训练
>
在这篇文档里,我们介绍如何在 Kubernetes 集群上启动一个单机使用CPU的Paddle训练作业。在下一篇中,我们将介绍如何启动分布式训练作业。
在这篇文档里,我们介绍如何在 Kubernetes 集群上启动一个单机使用CPU的Paddle训练作业。在下一篇中,我们将介绍如何启动分布式训练作业。
## 制作Docker镜像
在一个功能齐全的Kubernetes机群里,通常我们会安装Ceph等分布式
操作
系统来存储训练数据。这样的话,一个分布式Paddle训练任务中的每个进程都可以从Ceph读取数据。在这个例子里,我们只演示一个单机作业,所以可以简化对环境的要求,把训练数据直接放在
Paddle的Docker
I
mage里。为此,我们需要制作一个包含训练数据的Paddle镜像。
在一个功能齐全的Kubernetes机群里,通常我们会安装Ceph等分布式
文件
系统来存储训练数据。这样的话,一个分布式Paddle训练任务中的每个进程都可以从Ceph读取数据。在这个例子里,我们只演示一个单机作业,所以可以简化对环境的要求,把训练数据直接放在
Paddle的Docker
i
mage里。为此,我们需要制作一个包含训练数据的Paddle镜像。
Paddle 的
[
Quick Start Tutorial
](
http://www.paddlepaddle.org/doc/demo/quick_start/index_en.html
)
里介绍了用Paddle源码中的脚本下载训练数据的过程。
而
`paddledev/paddle:cpu-demo-latest`
镜像里有 Paddle 源码与
D
emo,( 请注意,默认的
Paddle镜像
`paddledev/paddle:cpu-latest`
是不包括源码的, Paddle的各版本镜像可以参考
[
Docker installation guide
](
http://www.paddlepaddle.org/doc/build/docker_install.html
)
),所以我们使用这个镜像来下载训练数据到Docker
C
ontainer中,然后把这个包含了训练数据的container保存为一个新的镜像。
而
`paddledev/paddle:cpu-demo-latest`
镜像里有 Paddle 源码与
d
emo,( 请注意,默认的
Paddle镜像
`paddledev/paddle:cpu-latest`
是不包括源码的, Paddle的各版本镜像可以参考
[
Docker installation guide
](
http://www.paddlepaddle.org/doc/build/docker_install.html
)
),所以我们使用这个镜像来下载训练数据到Docker
c
ontainer中,然后把这个包含了训练数据的container保存为一个新的镜像。
### 运行容器
...
...
@@ -63,7 +63,7 @@ paddle train \
### 提交镜像
下载完数据
后,退出容器,使用
`docker commit`
命令创建新镜像。
修改启动脚本
后,退出容器,使用
`docker commit`
命令创建新镜像。
```
$ docker commit quick_start_data mypaddle/paddle:quickstart
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录