Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
一WILLPOWER一
Paddle
提交
d470763f
P
Paddle
项目概览
一WILLPOWER一
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
1
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
1
Issue
1
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
d470763f
编写于
3月 16, 2018
作者:
Y
Yu Yang
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Stash
上级
9fc0b596
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
11 addition
and
7 deletion
+11
-7
paddle/fluid/framework/parallel_executor.cc
paddle/fluid/framework/parallel_executor.cc
+11
-7
未找到文件。
paddle/fluid/framework/parallel_executor.cc
浏览文件 @
d470763f
...
...
@@ -154,6 +154,8 @@ class ParallelExecutorPrivate {
std
::
unordered_map
<
platform
::
Place
,
Scope
*
,
platform
::
PlaceHash
>
local_scopes_
;
std
::
vector
<
platform
::
Place
>
places_
;
#ifdef PADDLE_WITH_CUDA
struct
NCCLContext
{
std
::
unique_ptr
<
platform
::
CUDADeviceContext
>
ctx_
;
...
...
@@ -246,6 +248,8 @@ ParallelExecutor::ParallelExecutor(
const
ProgramDesc
&
startup_program
,
const
ProgramDesc
&
main_program
,
const
std
::
string
&
loss_var_name
,
Scope
*
scope
)
:
member_
(
new
ParallelExecutorPrivate
())
{
member_
->
places_
=
places
;
// Step 1. RunStartupProgram and Bcast the params to devs.
Executor
exe
(
places
[
0
]);
exe
.
Run
(
startup_program
,
scope
,
0
);
...
...
@@ -489,14 +493,14 @@ void ParallelExecutor::BCastParamsToGPUs(
platform
::
dynload
::
ncclGroupStart
();
for
(
auto
&
p
air
:
member_
->
local_scop
es_
)
{
auto
local_scope
=
pair
.
second
;
for
(
auto
&
p
lace
:
member_
->
plac
es_
)
{
auto
local_scope
=
member_
->
local_scopes_
[
place
]
;
auto
*
t
=
local_scope
->
Var
(
var_desc
->
Name
())
->
GetMutable
<
LoDTensor
>
();
t
->
Resize
(
dims
);
auto
&
nccl_ctx
=
member_
->
GetNCCLCtx
(
p
air
.
first
);
platform
::
dynload
::
ncclBcast
(
t
->
mutable_data
(
pair
.
first
,
main_tensor
.
type
()),
numel
,
data_type
,
0
,
nccl_ctx
.
comm
,
nccl_ctx
.
stream
());
auto
&
nccl_ctx
=
member_
->
GetNCCLCtx
(
p
lace
);
platform
::
dynload
::
ncclBcast
(
t
->
mutable_data
(
place
,
main_tensor
.
type
()),
numel
,
data_type
,
0
,
nccl_ctx
.
comm
,
nccl_ctx
.
stream
());
}
platform
::
dynload
::
ncclGroupEnd
();
}
...
...
@@ -506,7 +510,7 @@ void ParallelExecutor::BCastParamsToGPUs(
for
(
auto
&
pair
:
member_
->
local_scopes_
)
{
member_
->
GetNCCLCtx
(
pair
.
first
).
ctx_
->
Wait
();
auto
&
b
=
pair
.
second
->
FindVar
(
"fc_
1
.b_0"
)
->
Get
<
framework
::
LoDTensor
>
();
auto
&
b
=
pair
.
second
->
FindVar
(
"fc_
0
.b_0"
)
->
Get
<
framework
::
LoDTensor
>
();
framework
::
LoDTensor
cpu
;
framework
::
TensorCopy
(
b
,
platform
::
CPUPlace
(),
&
cpu
);
platform
::
DeviceContextPool
::
Instance
().
Get
(
b
.
place
())
->
Wait
();
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录