Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleRec
提交
e6443d98
P
PaddleRec
项目概览
PaddlePaddle
/
PaddleRec
通知
68
Star
12
Fork
5
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
27
列表
看板
标记
里程碑
合并请求
10
Wiki
1
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleRec
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
27
Issue
27
列表
看板
标记
里程碑
合并请求
10
合并请求
10
Pages
分析
分析
仓库分析
DevOps
Wiki
1
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
e6443d98
编写于
6月 12, 2020
作者:
C
chengmo
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update doc
上级
c17d3e3e
变更
3
隐藏空白更改
内联
并排
Showing
3 changed file
with
6 addition
and
5 deletion
+6
-5
doc/design.md
doc/design.md
+1
-4
doc/predict.md
doc/predict.md
+1
-0
doc/train.md
doc/train.md
+4
-1
未找到文件。
doc/design.md
浏览文件 @
e6443d98
...
@@ -111,7 +111,7 @@ Engine的自定义实现,可以参考[local_cluster.py](../core/engine/local_c
...
@@ -111,7 +111,7 @@ Engine的自定义实现,可以参考[local_cluster.py](../core/engine/local_c
我们以GeneralTrainer为例,概览Trainer行为:
我们以GeneralTrainer为例,概览Trainer行为:
```
python
```
python
class
SingleTrainer
(
Transpile
Trainer
):
class
GeneralTrainer
(
Trainer
):
def
processor_register
(
self
):
def
processor_register
(
self
):
print
(
"processor_register begin"
)
print
(
"processor_register begin"
)
self
.
regist_context_processor
(
'uninit'
,
self
.
instance
)
self
.
regist_context_processor
(
'uninit'
,
self
.
instance
)
...
@@ -229,9 +229,6 @@ class Reader(dg.MultiSlotDataGenerator):
...
@@ -229,9 +229,6 @@ class Reader(dg.MultiSlotDataGenerator):
完成reader的构建工作。
完成reader的构建工作。
Reader数据处理的逻辑,可以参考
[
criteo_reader.py
](
../../models/rank/../../paddlerec/models/rank/criteo_reader.py
)
## Metric
## Metric
...
...
doc/predict.md
浏览文件 @
e6443d98
...
@@ -13,6 +13,7 @@ runner:
...
@@ -13,6 +13,7 @@ runner:
device
:
cpu
# 执行在 cpu 上
device
:
cpu
# 执行在 cpu 上
init_model_path
:
"
init_model"
# 指定初始化模型的地址
init_model_path
:
"
init_model"
# 指定初始化模型的地址
print_interval
:
10
# 预测信息的打印间隔,以batch为单位
print_interval
:
10
# 预测信息的打印间隔,以batch为单位
phases
:
phase_infer
```
```
再定义具体的执行内容:
再定义具体的执行内容:
...
...
doc/train.md
浏览文件 @
e6443d98
...
@@ -65,7 +65,7 @@ python -m paddlerec.run -m paddlerec.models.recall.word2vec
...
@@ -65,7 +65,7 @@ python -m paddlerec.run -m paddlerec.models.recall.word2vec
-
**`runner`**
: runner是训练的引擎,亦可称之为运行器,在runner中定义执行设备(cpu、gpu),执行的模式(训练、预测、单机、多机等),以及运行的超参,例如训练轮数,模型保存地址等。
-
**`runner`**
: runner是训练的引擎,亦可称之为运行器,在runner中定义执行设备(cpu、gpu),执行的模式(训练、预测、单机、多机等),以及运行的超参,例如训练轮数,模型保存地址等。
-
**`phase`**
: phase是训练中的阶段的概念,是引擎具体执行的内容,该内容是指:具体运行哪个模型文件,使用哪个reader。
-
**`phase`**
: phase是训练中的阶段的概念,是引擎具体执行的内容,该内容是指:具体运行哪个模型文件,使用哪个reader。
PaddleRec每次运行时,会执行一个
运行器,通过
`mode`
指定
`runner`
的名字。每个运行器可以执行
多个
`phase`
,所以PaddleRec支持一键启动多阶段的训练。
PaddleRec每次运行时,会执行一个
或多个运行器,通过
`mode`
指定
`runner`
的名字。每个运行器可以执行一个或
多个
`phase`
,所以PaddleRec支持一键启动多阶段的训练。
### 单机CPU训练
### 单机CPU训练
...
@@ -73,6 +73,7 @@ PaddleRec每次运行时,会执行一个运行器,通过`mode`指定`runner`
...
@@ -73,6 +73,7 @@ PaddleRec每次运行时,会执行一个运行器,通过`mode`指定`runner`
```
yaml
```
yaml
mode
:
single_cpu_train
# 执行名为 single_cpu_train 的运行器
mode
:
single_cpu_train
# 执行名为 single_cpu_train 的运行器
# mode 也支持多个runner的执行,此处可以改为 mode: [single_cpu_train, single_cpu_infer]
runner
:
runner
:
-
name
:
single_cpu_train
# 定义 runner 名为 single_cpu_train
-
name
:
single_cpu_train
# 定义 runner 名为 single_cpu_train
...
@@ -88,6 +89,8 @@ runner:
...
@@ -88,6 +89,8 @@ runner:
save_inference_fetch_varnames
:
[]
# inference model 的fetch参数的名字
save_inference_fetch_varnames
:
[]
# inference model 的fetch参数的名字
init_model_path
:
"
"
# 如果是加载模型热启,则可以指定初始化模型的地址
init_model_path
:
"
"
# 如果是加载模型热启,则可以指定初始化模型的地址
print_interval
:
10
# 训练信息的打印间隔,以batch为单位
print_interval
:
10
# 训练信息的打印间隔,以batch为单位
phases
:
phase_train
# 若没有指定phases,则会默认运行所有phase
# phase 也支持自定多个phase的执行,此处可以改为 phases: [phase_train, phase_infer]
```
```
再定义具体的执行内容:
再定义具体的执行内容:
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录