Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
ERNIE
提交
949be3bc
E
ERNIE
项目概览
PaddlePaddle
/
ERNIE
大约 1 年 前同步成功
通知
109
Star
5997
Fork
1270
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
29
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
E
ERNIE
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
29
Issue
29
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
949be3bc
编写于
2月 26, 2021
作者:
L
luyuxiang
提交者:
Meiyim
2月 26, 2021
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix amp init_loss_scaling
上级
3b9d92fc
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
1 addition
and
1 deletion
+1
-1
demo/optimization.py
demo/optimization.py
+1
-1
未找到文件。
demo/optimization.py
浏览文件 @
949be3bc
...
@@ -73,7 +73,7 @@ def optimization(
...
@@ -73,7 +73,7 @@ def optimization(
#amp_list = P.fluid.contrib.mixed_precision.AutoMixedPrecisionLists(
#amp_list = P.fluid.contrib.mixed_precision.AutoMixedPrecisionLists(
# custom_white_list=['softmax', 'layer_norm', 'gelu'])
# custom_white_list=['softmax', 'layer_norm', 'gelu'])
optimizer
=
P
.
fluid
.
contrib
.
mixed_precision
.
decorate
(
optimizer
=
P
.
fluid
.
contrib
.
mixed_precision
.
decorate
(
optimizer
,
init_loss_scaling
=
3
**
15
,
use_dynamic_loss_scaling
=
True
)
optimizer
,
init_loss_scaling
=
2
**
15
,
use_dynamic_loss_scaling
=
True
)
_
,
param_grads
=
optimizer
.
minimize
(
loss
)
_
,
param_grads
=
optimizer
.
minimize
(
loss
)
loss_scaling
=
P
.
static
.
default_main_program
().
global_block
().
var
(
loss_scaling
=
P
.
static
.
default_main_program
().
global_block
().
var
(
'loss_scaling_0'
)
'loss_scaling_0'
)
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录