Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleClas
提交
8595d189
P
PaddleClas
项目概览
PaddlePaddle
/
PaddleClas
大约 1 年 前同步成功
通知
115
Star
4999
Fork
1114
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
19
列表
看板
标记
里程碑
合并请求
6
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleClas
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
19
Issue
19
列表
看板
标记
里程碑
合并请求
6
合并请求
6
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
8595d189
编写于
9月 26, 2021
作者:
W
weishengyu
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update format
上级
be806121
变更
3
显示空白变更内容
内联
并排
Showing
3 changed file
with
11 addition
and
7 deletion
+11
-7
ppcls/data/dataloader/mix_dataset.py
ppcls/data/dataloader/mix_dataset.py
+1
-1
ppcls/data/dataloader/mix_sampler.py
ppcls/data/dataloader/mix_sampler.py
+9
-5
ppcls/data/dataloader/pk_sampler.py
ppcls/data/dataloader/pk_sampler.py
+1
-1
未找到文件。
ppcls/data/dataloader/mix_dataset.py
浏览文件 @
8595d189
...
...
@@ -23,7 +23,7 @@ from .. import dataloader
class
MixDataset
(
Dataset
):
def
__init__
(
self
,
datasets_config
):
super
(
MixDataset
,
self
).
__init__
()
super
().
__init__
()
self
.
dataset_list
=
[]
start_idx
=
0
end_idx
=
0
...
...
ppcls/data/dataloader/mix_sampler.py
浏览文件 @
8595d189
...
...
@@ -24,8 +24,9 @@ from ppcls.data import dataloader
class
MixSampler
(
DistributedBatchSampler
):
def
__init__
(
self
,
dataset
,
batch_size
,
sample_configs
,
iter_per_epoch
):
super
(
MixSampler
,
self
).
__init__
(
dataset
,
batch_size
)
assert
isinstance
(
dataset
,
MixDataset
),
"MixSampler only support MixDataset"
super
().
__init__
(
dataset
,
batch_size
)
assert
isinstance
(
dataset
,
MixDataset
),
"MixSampler only support MixDataset"
self
.
sampler_list
=
[]
self
.
batch_size
=
batch_size
self
.
start_list
=
[]
...
...
@@ -45,9 +46,11 @@ class MixSampler(DistributedBatchSampler):
assert
batch_size_i
<=
len
(
dataset_list
[
i
][
2
])
config_i
[
"batch_size"
]
=
batch_size_i
if
sample_method
==
"DistributedBatchSampler"
:
sampler_i
=
DistributedBatchSampler
(
dataset_list
[
i
][
2
],
**
config_i
)
sampler_i
=
DistributedBatchSampler
(
dataset_list
[
i
][
2
],
**
config_i
)
else
:
sampler_i
=
getattr
(
dataloader
,
sample_method
)(
dataset_list
[
i
][
2
],
**
config_i
)
sampler_i
=
getattr
(
dataloader
,
sample_method
)(
dataset_list
[
i
][
2
],
**
config_i
)
self
.
sampler_list
.
append
(
sampler_i
)
self
.
iter_list
.
append
(
iter
(
sampler_i
))
self
.
length
+=
len
(
dataset_list
[
i
][
2
])
*
ratio_i
...
...
@@ -62,7 +65,8 @@ class MixSampler(DistributedBatchSampler):
iter_i
=
iter
(
self
.
sampler_list
[
i
])
self
.
iter_list
[
i
]
=
iter_i
batch_i
=
next
(
iter_i
,
None
)
assert
batch_i
is
not
None
,
"dataset {} return None"
.
format
(
i
)
assert
batch_i
is
not
None
,
"dataset {} return None"
.
format
(
i
)
batch
+=
[
idx
+
self
.
start_list
[
i
]
for
idx
in
batch_i
]
if
len
(
batch
)
==
self
.
batch_size
:
self
.
iter_counter
+=
1
...
...
ppcls/data/dataloader/pk_sampler.py
浏览文件 @
8595d189
...
...
@@ -42,7 +42,7 @@ class PKSampler(DistributedBatchSampler):
shuffle
=
True
,
drop_last
=
True
,
sample_method
=
"sample_avg_prob"
):
super
(
PKSampler
,
self
).
__init__
(
super
().
__init__
(
dataset
,
batch_size
,
shuffle
=
shuffle
,
drop_last
=
drop_last
)
assert
batch_size
%
sample_per_id
==
0
,
\
"PKSampler configs error, Sample_per_id must be a divisor of batch_size."
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录