Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
weixin_44025039
mindspore
提交
29e35a31
M
mindspore
项目概览
weixin_44025039
/
mindspore
与 Fork 源项目一致
Fork自
MindSpore / mindspore
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
mindspore
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
29e35a31
编写于
7月 23, 2020
作者:
S
shibeiji
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add order params for bert to improve performance
上级
183cf5cf
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
7 addition
and
4 deletion
+7
-4
model_zoo/official/nlp/bert/run_pretrain.py
model_zoo/official/nlp/bert/run_pretrain.py
+5
-2
model_zoo/official/nlp/bert/src/config.py
model_zoo/official/nlp/bert/src/config.py
+2
-2
未找到文件。
model_zoo/official/nlp/bert/run_pretrain.py
浏览文件 @
29e35a31
...
...
@@ -106,6 +106,7 @@ def run_pretrain():
new_repeat_count
=
min
(
new_repeat_count
,
args_opt
.
train_steps
//
args_opt
.
data_sink_steps
)
else
:
args_opt
.
train_steps
=
args_opt
.
epoch_size
*
ds
.
get_dataset_size
()
logger
.
info
(
"train steps: {}"
.
format
(
args_opt
.
train_steps
))
if
cfg
.
optimizer
==
'Lamb'
:
lr_schedule
=
BertLearningRate
(
learning_rate
=
cfg
.
Lamb
.
learning_rate
,
...
...
@@ -117,7 +118,8 @@ def run_pretrain():
decay_params
=
list
(
filter
(
cfg
.
Lamb
.
decay_filter
,
params
))
other_params
=
list
(
filter
(
lambda
x
:
x
not
in
decay_params
,
params
))
group_params
=
[{
'params'
:
decay_params
,
'weight_decay'
:
cfg
.
Lamb
.
weight_decay
},
{
'params'
:
other_params
}]
{
'params'
:
other_params
},
{
'order_params'
:
params
}]
optimizer
=
Lamb
(
group_params
,
learning_rate
=
lr_schedule
,
eps
=
cfg
.
Lamb
.
eps
)
elif
cfg
.
optimizer
==
'Momentum'
:
optimizer
=
Momentum
(
net_with_loss
.
trainable_params
(),
learning_rate
=
cfg
.
Momentum
.
learning_rate
,
...
...
@@ -132,7 +134,8 @@ def run_pretrain():
decay_params
=
list
(
filter
(
cfg
.
AdamWeightDecay
.
decay_filter
,
params
))
other_params
=
list
(
filter
(
lambda
x
:
x
not
in
decay_params
,
params
))
group_params
=
[{
'params'
:
decay_params
,
'weight_decay'
:
cfg
.
AdamWeightDecay
.
weight_decay
},
{
'params'
:
other_params
,
'weight_decay'
:
0.0
}]
{
'params'
:
other_params
,
'weight_decay'
:
0.0
},
{
'order_params'
:
params
}]
optimizer
=
AdamWeightDecay
(
group_params
,
learning_rate
=
lr_schedule
,
eps
=
cfg
.
AdamWeightDecay
.
eps
)
else
:
...
...
model_zoo/official/nlp/bert/src/config.py
浏览文件 @
29e35a31
...
...
@@ -26,7 +26,7 @@ cfg = edict({
'optimizer'
:
'Lamb'
,
'AdamWeightDecay'
:
edict
({
'learning_rate'
:
3e-5
,
'end_learning_rate'
:
1e-1
0
,
'end_learning_rate'
:
0.
0
,
'power'
:
5.0
,
'weight_decay'
:
1e-5
,
'decay_filter'
:
lambda
x
:
'layernorm'
not
in
x
.
name
.
lower
()
and
'bias'
not
in
x
.
name
.
lower
(),
...
...
@@ -35,7 +35,7 @@ cfg = edict({
}),
'Lamb'
:
edict
({
'learning_rate'
:
3e-5
,
'end_learning_rate'
:
1e-1
0
,
'end_learning_rate'
:
0.
0
,
'power'
:
10.0
,
'warmup_steps'
:
10000
,
'weight_decay'
:
0.01
,
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录