Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleClas
提交
80209e02
P
PaddleClas
项目概览
PaddlePaddle
/
PaddleClas
1 年多 前同步成功
通知
115
Star
4999
Fork
1114
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
19
列表
看板
标记
里程碑
合并请求
6
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleClas
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
19
Issue
19
列表
看板
标记
里程碑
合并请求
6
合并请求
6
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
80209e02
编写于
10月 20, 2021
作者:
D
dongshuilong
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix clas distributed eval bug
上级
14c43838
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
27 addition
and
1 deletion
+27
-1
ppcls/engine/evaluation/classification.py
ppcls/engine/evaluation/classification.py
+27
-1
未找到文件。
ppcls/engine/evaluation/classification.py
浏览文件 @
80209e02
...
...
@@ -34,6 +34,10 @@ def classification_eval(engine, epoch_id=0):
metric_key
=
None
tic
=
time
.
time
()
accum_samples
=
0
total_samples
=
len
(
engine
.
eval_dataloader
.
dataset
)
if
not
engine
.
use_dali
else
engine
.
eval_dataloader
.
size
max_iter
=
len
(
engine
.
eval_dataloader
)
-
1
if
platform
.
system
(
)
==
"Windows"
else
len
(
engine
.
eval_dataloader
)
for
iter_id
,
batch
in
enumerate
(
engine
.
eval_dataloader
):
...
...
@@ -61,15 +65,37 @@ def classification_eval(engine, epoch_id=0):
if
key
not
in
output_info
:
output_info
[
key
]
=
AverageMeter
(
key
,
'7.5f'
)
output_info
[
key
].
update
(
loss_dict
[
key
].
numpy
()[
0
],
batch_size
)
# just for DistributedBatchSampler issue: repeat sampling
current_samples
=
batch_size
*
paddle
.
distributed
.
get_world_size
()
accum_samples
+=
current_samples
# calc metric
if
engine
.
eval_metric_func
is
not
None
:
metric_dict
=
engine
.
eval_metric_func
(
out
,
batch
[
1
])
if
paddle
.
distributed
.
get_world_size
()
>
1
:
pred_list
=
[]
label_list
=
[]
if
isinstance
(
out
,
dict
):
out
=
out
[
"logits"
]
paddle
.
distributed
.
all_gather
(
pred_list
,
out
)
paddle
.
distributed
.
all_gather
(
label_list
,
batch
[
1
])
pred
=
paddle
.
concat
(
pred_list
,
0
)
labels
=
paddle
.
concat
(
label_list
,
0
)
if
accum_samples
>
total_samples
:
pred
=
pred
[:
total_samples
+
current_samples
-
accum_samples
]
labels
=
labels
[:
total_samples
+
current_samples
-
accum_samples
]
current_samples
=
total_samples
+
current_samples
-
accum_samples
metric_dict
=
engine
.
eval_metric_func
(
pred
,
labels
)
for
key
in
metric_dict
:
paddle
.
distributed
.
all_reduce
(
metric_dict
[
key
],
op
=
paddle
.
distributed
.
ReduceOp
.
SUM
)
metric_dict
[
key
]
=
metric_dict
[
key
]
/
paddle
.
distributed
.
get_world_size
()
else
:
metric_dict
=
engine
.
eval_metric_func
(
out
,
batch
[
1
])
for
key
in
metric_dict
:
if
metric_key
is
None
:
metric_key
=
key
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录