Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
MindSpore
mindinsight
提交
eaa4497d
M
mindinsight
项目概览
MindSpore
/
mindinsight
通知
7
Star
3
Fork
2
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
mindinsight
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
eaa4497d
编写于
5月 28, 2020
作者:
L
liangyongxiong
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix bug of multi-scalars comparision under concurrency
上级
c4fc9bfb
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
41 addition
and
20 deletion
+41
-20
mindinsight/datavisual/processors/scalars_processor.py
mindinsight/datavisual/processors/scalars_processor.py
+41
-20
未找到文件。
mindinsight/datavisual/processors/scalars_processor.py
浏览文件 @
eaa4497d
...
@@ -16,8 +16,10 @@
...
@@ -16,8 +16,10 @@
from
urllib.parse
import
unquote
from
urllib.parse
import
unquote
from
mindinsight.utils.exceptions
import
ParamValueError
,
UrlDecodeError
from
mindinsight.utils.exceptions
import
ParamValueError
,
UrlDecodeError
from
mindinsight.datavisual.common.log
import
logger
from
mindinsight.datavisual.utils.tools
import
if_nan_inf_to_none
from
mindinsight.datavisual.utils.tools
import
if_nan_inf_to_none
from
mindinsight.datavisual.common.exceptions
import
ScalarNotExistError
from
mindinsight.datavisual.common.exceptions
import
ScalarNotExistError
from
mindinsight.datavisual.common.exceptions
import
TrainJobNotExistError
from
mindinsight.datavisual.common.validation
import
Validation
from
mindinsight.datavisual.common.validation
import
Validation
from
mindinsight.datavisual.processors.base_processor
import
BaseProcessor
from
mindinsight.datavisual.processors.base_processor
import
BaseProcessor
...
@@ -71,25 +73,44 @@ class ScalarsProcessor(BaseProcessor):
...
@@ -71,25 +73,44 @@ class ScalarsProcessor(BaseProcessor):
scalars
=
[]
scalars
=
[]
for
train_id
in
train_ids
:
for
train_id
in
train_ids
:
for
tag
in
tags
:
scalars
+=
self
.
_get_train_scalars
(
train_id
,
tags
)
try
:
tensors
=
self
.
_data_manager
.
list_tensors
(
train_id
,
tag
)
return
scalars
except
ParamValueError
:
continue
def
_get_train_scalars
(
self
,
train_id
,
tags
):
"""
scalar
=
{
Get scalar data for given train_id and tags.
'train_id'
:
train_id
,
'tag'
:
tag
,
Args:
'values'
:
[],
train_id (str): Specify train job ID.
}
tags (list): Specify list of tags.
for
tensor
in
tensors
:
Returns:
scalar
[
'values'
].
append
({
list[dict], a list of dictionaries containing the `wall_time`, `step`, `value` for each scalar.
'wall_time'
:
tensor
.
wall_time
,
"""
'step'
:
tensor
.
step
,
scalars
=
[]
'value'
:
if_nan_inf_to_none
(
'scalar_value'
,
tensor
.
value
),
for
tag
in
tags
:
})
try
:
tensors
=
self
.
_data_manager
.
list_tensors
(
train_id
,
tag
)
scalars
.
append
(
scalar
)
except
ParamValueError
:
continue
except
TrainJobNotExistError
:
logger
.
warning
(
'Can not find the given train job in cache.'
)
return
[]
scalar
=
{
'train_id'
:
train_id
,
'tag'
:
tag
,
'values'
:
[],
}
for
tensor
in
tensors
:
scalar
[
'values'
].
append
({
'wall_time'
:
tensor
.
wall_time
,
'step'
:
tensor
.
step
,
'value'
:
if_nan_inf_to_none
(
'scalar_value'
,
tensor
.
value
),
})
scalars
.
append
(
scalar
)
return
scalars
return
scalars
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录