Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleClas
提交
e8bed7f3
P
PaddleClas
项目概览
PaddlePaddle
/
PaddleClas
大约 1 年 前同步成功
通知
115
Star
4999
Fork
1114
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
19
列表
看板
标记
里程碑
合并请求
6
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleClas
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
19
Issue
19
列表
看板
标记
里程碑
合并请求
6
合并请求
6
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
e8bed7f3
编写于
5月 08, 2021
作者:
L
liuyuhui
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix xpu reader
上级
ca51b6f7
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
29 addition
and
17 deletion
+29
-17
ppcls/data/reader.py
ppcls/data/reader.py
+29
-17
未找到文件。
ppcls/data/reader.py
浏览文件 @
e8bed7f3
...
...
@@ -224,9 +224,11 @@ class MultiLabelDataset(Dataset):
labels
=
label_str
.
split
(
','
)
labels
=
[
int
(
i
)
for
i
in
labels
]
return
(
transform
(
img
,
self
.
ops
),
np
.
array
(
labels
).
astype
(
"float32"
))
return
(
transform
(
img
,
self
.
ops
),
np
.
array
(
labels
).
astype
(
"float32"
))
except
Exception
as
e
:
logger
.
error
(
"data read failed: {}, exception info: {}"
.
format
(
line
,
e
))
logger
.
error
(
"data read failed: {}, exception info: {}"
.
format
(
line
,
e
))
return
self
.
__getitem__
(
random
.
randint
(
0
,
len
(
self
)))
def
__len__
(
self
):
...
...
@@ -263,6 +265,7 @@ class Reader:
self
.
collate_fn
=
self
.
mix_collate_fn
self
.
places
=
places
self
.
use_xpu
=
config
.
get
(
"use_xpu"
,
False
)
self
.
multilabel
=
config
.
get
(
"multilabel"
,
False
)
def
mix_collate_fn
(
self
,
batch
):
...
...
@@ -285,7 +288,16 @@ class Reader:
dataset
=
MultiLabelDataset
(
self
.
params
)
else
:
dataset
=
CommonDataset
(
self
.
params
)
if
(
self
.
params
[
'mode'
]
!=
"train"
)
and
self
.
use_xpu
:
loader
=
DataLoader
(
dataset
,
places
=
self
.
places
,
batch_size
=
batch_size
,
drop_last
=
False
,
return_list
=
True
,
shuffle
=
False
,
num_workers
=
self
.
params
[
"num_workers"
])
else
:
is_train
=
self
.
params
[
'mode'
]
==
"train"
batch_sampler
=
DistributedBatchSampler
(
dataset
,
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录