Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
afeixing77
Paddle
提交
160ddc98
P
Paddle
项目概览
afeixing77
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
160ddc98
编写于
7月 08, 2019
作者:
G
gongweibao
提交者:
GitHub
7月 08, 2019
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Regroup fusion by date type. (#18496)
上级
6f6ecbec
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
54 addition
and
15 deletion
+54
-15
paddle/fluid/framework/ir/alloc_continuous_space_for_grad_pass.cc
...luid/framework/ir/alloc_continuous_space_for_grad_pass.cc
+54
-15
未找到文件。
paddle/fluid/framework/ir/alloc_continuous_space_for_grad_pass.cc
浏览文件 @
160ddc98
...
...
@@ -206,24 +206,23 @@ class AllocContinuousSpaceForGradPass : public ir::Pass {
details
::
GroupParamsAndGrads
*
group_params_grads
)
const
{
SetGroupAccordingToLayers
(
var_nodes
,
params_grads
,
group_params_grads
);
SetGroupAccordingToMemorySize
(
var_nodes
,
group_params_grads
);
ReGroupByDtype
(
var_nodes
,
params_grads
,
group_params_grads
);
}
void
SetGroupAccordingToLayers
(
const
std
::
unordered_map
<
std
::
string
,
ir
::
Node
*>
&
var_nodes
,
const
details
::
ParamsAndGrads
&
params_grads
,
details
::
GroupParamsAndGrads
*
group_params_grads
)
const
{
using
var_dtype
=
std
::
pair
<
std
::
string
,
proto
::
VarType
::
Type
>
;
std
::
map
<
var_dtype
,
size_t
>
var_idx
;
std
::
map
<
std
::
string
,
size_t
>
var_idx
;
for
(
size_t
i
=
0
;
i
<
params_grads
.
size
();
++
i
)
{
auto
pos
=
params_grads
[
i
].
first
.
find_first_of
(
"."
);
auto
dtype
=
GetDtypeOfVar
(
var_nodes
,
params_grads
[
i
].
second
);
var_dtype
var_key
;
std
::
string
var_key
;
if
(
pos
==
std
::
string
::
npos
)
{
var_key
=
std
::
make_pair
(
params_grads
[
i
].
first
,
dtype
)
;
var_key
=
params_grads
[
i
].
first
;
}
else
{
var_key
=
std
::
make_pair
(
params_grads
[
i
].
first
.
substr
(
0
,
pos
),
dtype
);
var_key
=
params_grads
[
i
].
first
.
substr
(
0
,
pos
);
}
size_t
idx
=
0
;
...
...
@@ -289,9 +288,6 @@ class AllocContinuousSpaceForGradPass : public ir::Pass {
local_group_params_grads
.
emplace_back
();
auto
&
group_p_g
=
local_group_params_grads
.
back
();
auto
&
grad_name
=
group_params_grads
->
at
(
j
).
front
().
second
;
auto
var_type
=
GetDtypeOfVar
(
var_nodes
,
grad_name
);
size_t
local_group_memory_size
=
0
;
while
(
j
<
group_params_grads
->
size
())
{
std
::
for_each
(
...
...
@@ -330,12 +326,6 @@ class AllocContinuousSpaceForGradPass : public ir::Pass {
group_memory_size
)
{
break
;
}
auto
next_var_type
=
GetDtypeOfVar
(
var_nodes
,
group_params_grads
->
at
(
j
).
front
().
second
);
if
(
next_var_type
!=
var_type
)
{
break
;
}
}
}
...
...
@@ -348,6 +338,55 @@ class AllocContinuousSpaceForGradPass : public ir::Pass {
}
}
void
ReGroupByDtype
(
const
std
::
unordered_map
<
std
::
string
,
ir
::
Node
*>
&
var_nodes
,
const
details
::
ParamsAndGrads
&
params_grads
,
details
::
GroupParamsAndGrads
*
group_params_grads
)
const
{
if
(
IsUnifiedDtype
(
params_grads
,
var_nodes
))
{
VLOG
(
1
)
<<
"needn't regroup fusion params_grads"
;
return
;
}
details
::
GroupParamsAndGrads
new_group_params_grads
;
for
(
auto
&
group_p_g
:
*
group_params_grads
)
{
std
::
map
<
proto
::
VarType
::
Type
,
size_t
>
type_idx
;
details
::
GroupParamsAndGrads
local_group_params_grads
;
for
(
auto
&
p_g
:
group_p_g
)
{
auto
dtype
=
GetDtypeOfVar
(
var_nodes
,
p_g
.
second
);
size_t
idx
=
0
;
auto
var_idx_iter
=
type_idx
.
find
(
dtype
);
if
(
var_idx_iter
!=
type_idx
.
end
())
{
idx
=
var_idx_iter
->
second
;
}
else
{
local_group_params_grads
.
emplace_back
();
idx
=
local_group_params_grads
.
size
()
-
1
;
type_idx
[
dtype
]
=
idx
;
}
auto
&
local
=
local_group_params_grads
.
at
(
idx
);
local
.
emplace_back
(
p_g
);
}
VLOG
(
10
)
<<
"local_group_params_grads size:"
<<
local_group_params_grads
.
size
();
new_group_params_grads
.
insert
(
new_group_params_grads
.
end
(),
local_group_params_grads
.
begin
(),
local_group_params_grads
.
end
());
}
std
::
swap
(
*
group_params_grads
,
new_group_params_grads
);
if
(
VLOG_IS_ON
(
10
))
{
VLOG
(
10
)
<<
string
::
Sprintf
(
"ReGroupByDtype(memory_size: %f MB, %u):"
,
GetFuseParameterMemorySize
(),
GetFuseParameterGroupsSize
());
PrintGroupInfo
(
var_nodes
,
group_params_grads
);
}
}
proto
::
VarType
::
Type
GetDtypeOfVar
(
const
std
::
unordered_map
<
std
::
string
,
Node
*>
&
var_nodes
,
const
std
::
string
&
name
)
const
{
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录