Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
BaiXuePrincess
PaddleRec
提交
473b742c
P
PaddleRec
项目概览
BaiXuePrincess
/
PaddleRec
与 Fork 源项目一致
Fork自
PaddlePaddle / PaddleRec
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleRec
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
473b742c
编写于
5月 18, 2020
作者:
C
chengmo
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update doc
上级
6361f960
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
56 addition
and
32 deletion
+56
-32
README.md
README.md
+56
-32
未找到文件。
README.md
浏览文件 @
473b742c
...
@@ -78,33 +78,58 @@
...
@@ -78,33 +78,58 @@
```
bash
```
bash
# 使用CPU进行单机训练
# 使用CPU进行单机训练
python
-m
paddlerec.run
-m
paddlerec.models.rank.dnn
-d
cpu
-e
single
python
-m
paddlerec.run
-m
paddlerec.models.rank.dnn
# 使用GPU进行单机训练
python
-m
paddlerec.run
-m
paddlerec.models.rank.dnn
-d
gpu
-e
single
```
```
###
# 本地模拟分布式训练
###
启动内置模型的自定配置
若您复用内置模型,对
**yaml**
配置文件进行了修改,如更改超参,重新配置数据后,可以直接使用paddlerec运行该yaml文件。
我们以dnn模型为例,在paddlerec代码目录下
```
bash
```
bash
# 使用CPU资源进行本地模拟分布式训练
cd
paddlerec
python
-m
paddlerec.run
-m
paddlerec.models.rank.dnn
-e
local_cluster
```
```
#### 集群分布式训练
修改了dnn模型
`models/rank/dnn/config.yaml`
的配置后,运行
`dnn`
模型:
```
bash
# 使用自定配置进行训练
python
-m
paddlerec.run
-m
./models/rank/dnn/config.yaml
```
### 分布式训练
分布式训练需要配置
`config.yaml`
,加入或修改
`engine`
选项为
`cluster`
或
`local_cluster`
,以进行分布式训练,或本地模拟分布式训练。
#### 本地模拟分布式训练
我们以dnn模型为例,在paddlerec代码目录下,修改dnn模型的
`config.yaml`
文件:
```
yaml
train
:
#engine: single
engine
:
local_cluster
```
然后启动paddlerec训练:
```
bash
```
bash
#
配置好 mpi/k8s/paddlecloud集群环境后
#
进行本地模拟分布式训练
python
-m
paddlerec.run
-m
paddlerec.models.rank.dnn
-e
cluster
python
-m
paddlerec.run
-m
./models/rank/dnn/config.yaml
```
```
###
启动内置模型的自定配置
###
# 集群分布式训练
若您复用内置模型,对
**yaml**
配置文件进行了修改,如更改超参,重新配置数据后,可以直接使用paddlerec运行该yaml文件。
我们以dnn模型为例,在paddlerec代码目录下,首先修改dnn模型
`config.yaml`
文件:
```
yaml
train
:
#engine: single
engine
:
cluster
```
再添加分布式启动配置文件
`backend.yaml`
,具体配置规则在
[
分布式训练
](
doc/distributed_train.md
)
教程中介绍。最后启动paddlerec训练:
我们以dnn模型为例,在paddlerec代码目录下,修改了dnn模型
`config.yaml`
的配置后,运行
`dnn`
模型:
```
bash
```
bash
python
-m
paddlerec.run
-m
./models/rank/dnn/config.yaml
-e
single
# 配置好 mpi/k8s/paddlecloud集群环境后
python
-m
paddlerec.run
-m
./models/rank/dnn/config.yaml
-b
backend.yaml
```
```
...
@@ -112,7 +137,7 @@ python -m paddlerec.run -m ./models/rank/dnn/config.yaml -e single
...
@@ -112,7 +137,7 @@ python -m paddlerec.run -m ./models/rank/dnn/config.yaml -e single
| 方向 | 模型 | 单机CPU训练 | 单机GPU训练 | 分布式CPU训练 |
| 方向 | 模型 | 单机CPU训练 | 单机GPU训练 | 分布式CPU训练 |
| :------: | :-----------------------------------------------------------------------
-----
: | :---------: | :---------: | :-----------: |
| :------: | :-----------------------------------------------------------------------: | :---------: | :---------: | :-----------: |
| 内容理解 |
[
Text-Classifcation
](
models/contentunderstanding/classification/model.py
)
| ✓ | x | ✓ |
| 内容理解 |
[
Text-Classifcation
](
models/contentunderstanding/classification/model.py
)
| ✓ | x | ✓ |
| 内容理解 |
[
TagSpace
](
models/contentunderstanding/tagspace/model.py
)
| ✓ | x | ✓ |
| 内容理解 |
[
TagSpace
](
models/contentunderstanding/tagspace/model.py
)
| ✓ | x | ✓ |
| 召回 |
[
TDM
](
models/treebased/tdm/model.py
)
| ✓ | x | ✓ |
| 召回 |
[
TDM
](
models/treebased/tdm/model.py
)
| ✓ | x | ✓ |
...
@@ -168,4 +193,3 @@ python -m paddlerec.run -m ./models/rank/dnn/config.yaml -e single
...
@@ -168,4 +193,3 @@ python -m paddlerec.run -m ./models/rank/dnn/config.yaml -e single
### 许可证书
### 许可证书
本项目的发布受
[
Apache 2.0 license
](
LICENSE
)
许可认证。
本项目的发布受
[
Apache 2.0 license
](
LICENSE
)
许可认证。
>>>>>>> d7171ec5daa477584de89ea7e57a382045e12311
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录