Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
机器未来
Paddle
提交
8273dd79
P
Paddle
项目概览
机器未来
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
1
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
1
Issue
1
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
8273dd79
编写于
7月 25, 2017
作者:
Y
Yu Yang
提交者:
GitHub
7月 25, 2017
浏览文件
操作
浏览文件
下载
差异文件
Merge pull request #3045 from reyoung/feature/make_golang_client_lazy_load
Make C lib in `paddle.v2.master.client` lazy load
上级
1ab2e442
61cd828f
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
17 addition
and
9 deletion
+17
-9
python/paddle/v2/master/client.py
python/paddle/v2/master/client.py
+17
-9
未找到文件。
python/paddle/v2/master/client.py
浏览文件 @
8273dd79
import
ctypes
import
os
path
=
os
.
path
.
join
(
os
.
path
.
dirname
(
__file__
),
"libpaddle_master.so"
)
lib
=
ctypes
.
cdll
.
LoadLibrary
(
path
)
__lib__
=
None
def
get_c_lib
():
global
__lib__
if
__lib__
is
None
:
path
=
os
.
path
.
join
(
os
.
path
.
dirname
(
__file__
),
"libpaddle_master.so"
)
__lib__
=
ctypes
.
cdll
.
LoadLibrary
(
path
)
return
__lib__
class
client
(
object
):
...
...
@@ -11,8 +18,8 @@ class client(object):
"""
def
__init__
(
self
,
etcd_endpoints
,
timeout_sec
,
buf_size
=
0
):
self
.
c
=
lib
.
paddle_new_etcd_master_client
(
etcd_endpoints
,
timeout_sec
,
buf_size
)
self
.
c
=
get_c_lib
().
paddle_new_etcd_master_client
(
etcd_endpoints
,
timeout_sec
,
buf_size
)
def
request_save_model
(
self
,
trainer_id
,
block_ms
):
"""request to save model
...
...
@@ -32,10 +39,11 @@ class client(object):
saving the model, -1 if error happened.
"""
return
lib
.
paddle_request_save_model
(
self
.
c
,
trainer_id
,
block_ms
)
return
get_c_lib
().
paddle_request_save_model
(
self
.
c
,
trainer_id
,
block_ms
)
def
release
(
self
):
lib
.
paddle_release_master_client
(
self
.
c
)
get_c_lib
()
.
paddle_release_master_client
(
self
.
c
)
self
.
c
=
None
def
set_dataset
(
self
,
paths
):
...
...
@@ -45,7 +53,7 @@ class client(object):
for
idx
,
path
in
enumerate
(
paths
):
c_ptr
=
ctypes
.
c_char_p
(
path
)
holder
[
idx
]
=
c_ptr
lib
.
paddle_set_dataset
(
self
.
c
,
holder
,
len
(
paths
))
get_c_lib
()
.
paddle_set_dataset
(
self
.
c
,
holder
,
len
(
paths
))
def
next_record
(
self
):
"""gets next record for training
...
...
@@ -56,7 +64,7 @@ class client(object):
"""
p
=
ctypes
.
c_char_p
()
ret
=
ctypes
.
pointer
(
p
)
size
=
lib
.
paddle_next_record
(
self
.
c
,
ret
)
size
=
get_c_lib
()
.
paddle_next_record
(
self
.
c
,
ret
)
if
size
<
0
:
# Error
return
None
,
size
...
...
@@ -67,5 +75,5 @@ class client(object):
record
=
ret
.
contents
.
value
[:
size
]
# Memory created from C should be freed.
lib
.
mem_free
(
ret
.
contents
)
get_c_lib
()
.
mem_free
(
ret
.
contents
)
return
record
,
0
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录