Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
magicwindyyd
mindspore
提交
18ecafcf
M
mindspore
项目概览
magicwindyyd
/
mindspore
与 Fork 源项目一致
Fork自
MindSpore / mindspore
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
mindspore
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
18ecafcf
编写于
6月 04, 2020
作者:
M
mindspore-ci-bot
提交者:
Gitee
6月 04, 2020
浏览文件
操作
浏览文件
下载
差异文件
!1809 modify adam optimizer and script of bert to match the patterns of fusion rule
Merge pull request !1809 from shibeiji/bert
上级
bc575fe7
178952af
变更
3
隐藏空白更改
内联
并排
Showing
3 changed file
with
6 addition
and
5 deletion
+6
-5
mindspore/nn/optim/adam.py
mindspore/nn/optim/adam.py
+2
-2
mindspore/ops/_op_impl/tbe/bias_add_grad.py
mindspore/ops/_op_impl/tbe/bias_add_grad.py
+2
-0
model_zoo/bert/src/bert_model.py
model_zoo/bert/src/bert_model.py
+2
-3
未找到文件。
mindspore/nn/optim/adam.py
浏览文件 @
18ecafcf
...
...
@@ -67,9 +67,9 @@ def _update_run_op(beta1, beta2, eps, lr, weight_decay_tensor, param, m, v, grad
next_v
=
op_mul
(
beta2
,
v_fp32
)
+
op_mul
(
op_cast
(
F
.
tuple_to_array
((
1.0
,)),
mstype
.
float32
)
-
beta2
,
op_square
(
gradient_fp32
))
update
=
next_m
/
(
op_sqrt
(
next_v
)
+
eps
)
update
=
next_m
/
(
eps
+
op_sqrt
(
next_v
)
)
if
decay_flag
:
update
=
update
+
op_mul
(
weight_decay_tensor
,
param_fp32
)
update
=
op_mul
(
weight_decay_tensor
,
param_fp32
)
+
update
update_with_lr
=
op_mul
(
lr
,
update
)
next_param
=
param_fp32
-
op_reshape
(
update_with_lr
,
op_shape
(
param_fp32
))
...
...
mindspore/ops/_op_impl/tbe/bias_add_grad.py
浏览文件 @
18ecafcf
...
...
@@ -26,6 +26,8 @@ bias_add_grad_op_info = TBERegOp("BiasAddGrad") \
.
attr
(
"data_format"
,
"required"
,
"str"
,
"all"
)
\
.
input
(
0
,
"output_backprop"
,
False
,
"required"
,
"all"
)
\
.
output
(
0
,
"output"
,
False
,
"required"
,
"all"
)
\
.
dtype_format
(
DataType
.
F16_Default
,
DataType
.
F16_Default
)
\
.
dtype_format
(
DataType
.
F16_FracNZ
,
DataType
.
F16_Default
)
\
.
dtype_format
(
DataType
.
F32_Default
,
DataType
.
F32_Default
)
\
.
dtype_format
(
DataType
.
F32_FracNZ
,
DataType
.
F32_Default
)
\
.
get_op_info
()
...
...
model_zoo/bert/src/bert_model.py
浏览文件 @
18ecafcf
...
...
@@ -261,7 +261,7 @@ class BertOutput(nn.Cell):
def
construct
(
self
,
hidden_status
,
input_tensor
):
output
=
self
.
dense
(
hidden_status
)
output
=
self
.
dropout
(
output
)
output
=
self
.
add
(
output
,
input_tensor
)
output
=
self
.
add
(
input_tensor
,
output
)
output
=
self
.
layernorm
(
output
)
return
output
...
...
@@ -832,8 +832,7 @@ class CreateAttentionMaskFromInputMask(nn.Cell):
if
not
self
.
input_mask_from_dataset
:
input_mask
=
self
.
input_mask
input_mask
=
self
.
cast
(
self
.
reshape
(
input_mask
,
self
.
shape
),
mstype
.
float32
)
attention_mask
=
self
.
batch_matmul
(
self
.
broadcast_ones
,
input_mask
)
attention_mask
=
self
.
cast
(
self
.
reshape
(
input_mask
,
self
.
shape
),
mstype
.
float32
)
return
attention_mask
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录