Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
wzpei9
Paddle
提交
d081256c
P
Paddle
项目概览
wzpei9
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
1
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
1
Issue
1
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
d081256c
编写于
5月 16, 2018
作者:
T
tangwei12
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add api in distribute transpiler
上级
0334d494
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
34 addition
and
2 deletion
+34
-2
python/paddle/fluid/transpiler/distribute_transpiler.py
python/paddle/fluid/transpiler/distribute_transpiler.py
+34
-2
未找到文件。
python/paddle/fluid/transpiler/distribute_transpiler.py
浏览文件 @
d081256c
...
...
@@ -315,10 +315,21 @@ class DistributeTranspiler:
"sync_mode"
:
self
.
sync_mode
})
serial_var
=
program
.
global_block
().
create_var
(
name
=
"SERIAL_NUMBER"
,
persistable
=
True
,
type
=
core
.
VarDesc
.
VarType
.
RAW
)
save_vars
=
[]
for
var
in
self
.
origin_program
.
list_vars
():
if
self
.
is_persistable
(
var
):
save_vars
.
append
(
var
.
name
)
program
.
global_block
().
append_op
(
type
=
"checkpoint_save"
,
inputs
=
{
"X"
:
send_outputs
},
attrs
=
{
"overwrite"
:
True
,
inputs
=
{
"X"
:
save_vars
},
outputs
=
{
"Serial"
:
serial_var
},
attrs
=
{
"overwrite"
:
False
,
"dir"
:
"/workspace/ckpt/"
})
# step4: Concat the parameters splits together after recv.
...
...
@@ -501,6 +512,27 @@ class DistributeTranspiler:
pserver_program
.
sync_with_cpp
()
return
pserver_program
def
is_persistable
(
self
,
var
):
if
var
.
desc
.
type
()
==
core
.
VarDesc
.
VarType
.
FEED_MINIBATCH
or
\
var
.
desc
.
type
()
==
core
.
VarDesc
.
VarType
.
FETCH_LIST
or
\
var
.
desc
.
type
()
==
core
.
VarDesc
.
VarType
.
RAW
:
return
False
return
var
.
persistable
def
get_train_startup_program
(
self
,
checkpoint_load_dir
=
None
):
startup_prog
=
default_startup_program
()
if
not
checkpoint_load_dir
:
return
startup_prog
for
var
in
startup_prog
.
list_vars
():
if
self
.
is_persistable
(
var
):
print
(
"var: %s"
%
var
.
name
)
startup_prog
.
global_block
().
append_op
(
type
=
"checkpoint_load"
,
attrs
=
{
"dir"
:
checkpoint_load_dir
})
return
startup_prog
def
get_startup_program
(
self
,
endpoint
,
pserver_program
):
"""
Get startup program for current parameter server.
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录