Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PGL
提交
9b645a7a
P
PGL
项目概览
PaddlePaddle
/
PGL
通知
76
Star
4
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
11
列表
看板
标记
里程碑
合并请求
1
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PGL
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
11
Issue
11
列表
看板
标记
里程碑
合并请求
1
合并请求
1
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
9b645a7a
编写于
9月 09, 2020
作者:
Y
Yelrose
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fixed mp_reader for list
上级
1577fb29
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
26 addition
and
12 deletion
+26
-12
pgl/utils/mp_reader.py
pgl/utils/mp_reader.py
+26
-12
未找到文件。
pgl/utils/mp_reader.py
浏览文件 @
9b645a7a
...
...
@@ -27,8 +27,11 @@ import time
import
paddle.fluid
as
fluid
from
multiprocessing
import
Queue
import
threading
from
collections
import
namedtuple
_np_serialized_data
=
namedtuple
(
"_np_serialized_data"
,
[
"value"
,
"shape"
,
"dtype"
])
def
serialize_data
(
data
):
"""serialize_data"""
if
data
is
None
:
...
...
@@ -38,13 +41,17 @@ def serialize_data(data):
def
numpy_serialize_data
(
data
):
"""serialize_data"""
ret_data
=
{}
for
key
in
data
:
if
isinstance
(
data
[
key
],
np
.
ndarray
):
ret_data
[
key
]
=
(
data
[
key
].
tobytes
(),
list
(
data
[
key
].
shape
),
"%s"
%
data
[
key
].
dtype
)
else
:
ret_data
[
key
]
=
data
[
key
]
ret_data
=
copy
.
deepcopy
(
data
)
if
isinstance
(
ret_data
,
list
):
for
key
,
value
in
enumerate
(
ret_data
):
if
isinstance
(
ret_data
[
key
],
np
.
ndarray
):
ret_data
[
key
]
=
_np_serialized_data
(
value
=
ret_data
[
key
].
tobytes
(),
shape
=
list
(
ret_data
[
key
].
shape
),
dtype
=
"%s"
%
ret_data
[
key
].
dtype
)
elif
isinstance
(
ret_data
,
dict
):
for
key
in
ret_data
:
if
isinstance
(
ret_data
[
key
],
np
.
ndarray
):
ret_data
[
key
]
=
_np_serialized_data
(
value
=
ret_data
[
key
].
tobytes
(),
shape
=
list
(
ret_data
[
key
].
shape
),
dtype
=
"%s"
%
ret_data
[
key
].
dtype
)
return
ret_data
...
...
@@ -52,11 +59,18 @@ def numpy_deserialize_data(data):
"""deserialize_data"""
if
data
is
None
:
return
None
if
isinstance
(
data
,
list
):
for
key
,
value
in
enumerate
(
data
):
if
isinstance
(
value
,
_np_serialized_data
):
data
[
key
]
=
np
.
frombuffer
(
buffer
=
data
[
key
].
value
,
dtype
=
data
[
key
].
dtype
).
reshape
(
data
[
key
].
shape
)
elif
isinstance
(
data
,
dict
):
for
key
in
data
:
if
isinstance
(
data
[
key
],
tuple
):
value
=
np
.
frombuffer
(
data
[
key
][
0
],
dtype
=
data
[
key
][
2
]).
reshape
(
data
[
key
][
1
])
data
[
key
]
=
value
if
isinstance
(
data
[
key
],
_np_serialized_data
):
data
[
key
]
=
np
.
frombuffer
(
buffer
=
data
[
key
].
value
,
dtype
=
data
[
key
].
dtype
).
reshape
(
data
[
key
].
shape
)
return
data
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录