Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
正统之独孤求败
mindspore
提交
20049bbe
M
mindspore
项目概览
正统之独孤求败
/
mindspore
与 Fork 源项目一致
Fork自
MindSpore / mindspore
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
mindspore
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
20049bbe
编写于
6月 19, 2020
作者:
W
wangnan39@huawei.com
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
send data after model init
上级
cb6211f2
变更
4
隐藏空白更改
内联
并排
Showing
4 changed file
with
26 addition
and
8 deletion
+26
-8
example/resnet50_imagenet2012_THOR/model/dataset_helper.py
example/resnet50_imagenet2012_THOR/model/dataset_helper.py
+8
-1
mindspore/train/_utils.py
mindspore/train/_utils.py
+1
-5
mindspore/train/dataset_helper.py
mindspore/train/dataset_helper.py
+15
-1
mindspore/train/model.py
mindspore/train/model.py
+2
-1
未找到文件。
example/resnet50_imagenet2012_THOR/model/dataset_helper.py
浏览文件 @
20049bbe
...
...
@@ -15,6 +15,7 @@
"""Dataset help for minddata dataset"""
from
mindspore._checkparam
import
check_bool
from
mindspore.parallel._utils
import
_get_device_num
,
_get_parallel_mode
from
mindspore.train.dataset_helper
import
_send_data
from
mindspore.train._utils
import
_exec_datagraph
,
_get_types_and_shapes
,
\
_to_full_shapes
from
mindspore.train.parallel_utils
import
ParallelMode
...
...
@@ -67,7 +68,13 @@ class _DatasetIter:
self
.
loop_size
=
dataset
.
get_dataset_size
()
else
:
self
.
loop_size
=
dataset
.
__loop_size__
dataset
.
__ME_INITED__
=
_exec_datagraph
(
dataset
,
self
.
loop_size
).
queue_name
dataset
.
__TRANSFER_DATASET__
=
_exec_datagraph
(
dataset
,
self
.
loop_size
)
dataset
.
__ME_INITED__
=
dataset
.
__TRANSFER_DATASET__
.
queue_name
if
not
hasattr
(
dataset
,
'__no_send__'
):
_send_data
(
dataset
)
else
:
_send_data
(
dataset
)
self
.
ind
=
0
self
.
dataset
=
dataset
...
...
mindspore/train/_utils.py
浏览文件 @
20049bbe
...
...
@@ -16,11 +16,10 @@
import
os
import
numpy
as
np
from
mindspore.common.tensor
import
Tensor
from
mindspore.common.dtype
import
dtype_to_nptype
from
mindspore.common.dtype
import
dtype_to_nptype
,
pytype_to_dtype
from
mindspore.common
import
dtype
as
mstype
from
mindspore
import
log
as
logger
from
mindspore.common.api
import
_executor
from
mindspore.common.dtype
import
pytype_to_dtype
def
_convert_type
(
types
):
...
...
@@ -63,9 +62,6 @@ def _exec_datagraph(exec_dataset, dataset_size, phase='dataset'):
dataset_shapes
,
input_indexs
,
phase
=
phase
)
# engine dataset to write data to tdt queue
exec_dataset
.
send
()
return
exec_dataset
...
...
mindspore/train/dataset_helper.py
浏览文件 @
20049bbe
...
...
@@ -24,6 +24,14 @@ from ..nn.wrap import GetNextSingleOp
from
..parallel._utils
import
_get_device_num
,
_get_global_rank
,
_get_parallel_mode
def
_send_data
(
dataset
):
"""Engine dataset to write data to tdt queue."""
if
not
hasattr
(
dataset
,
'__has_sent__'
):
exec_dataset
=
dataset
.
__TRANSFER_DATASET__
exec_dataset
.
send
()
dataset
.
__has_sent__
=
True
class
DatasetHelper
:
"""
Help function to use the Minddata dataset.
...
...
@@ -82,7 +90,13 @@ class _DatasetIter:
self
.
loop_size
=
dataset
.
get_dataset_size
()
else
:
self
.
loop_size
=
dataset
.
__loop_size__
dataset
.
__ME_INITED__
=
_exec_datagraph
(
dataset
,
self
.
loop_size
).
queue_name
dataset
.
__TRANSFER_DATASET__
=
_exec_datagraph
(
dataset
,
self
.
loop_size
)
dataset
.
__ME_INITED__
=
dataset
.
__TRANSFER_DATASET__
.
queue_name
if
not
hasattr
(
dataset
,
'__no_send__'
):
_send_data
(
dataset
)
else
:
_send_data
(
dataset
)
self
.
ind
=
0
self
.
dataset
=
dataset
...
...
mindspore/train/model.py
浏览文件 @
20049bbe
...
...
@@ -278,7 +278,7 @@ class Model:
if
self
.
_parameter_broadcast
:
self
.
_train_network
.
set_broadcast_flag
()
train_dataset
.
__no_send__
=
True
train_dataset_helper
,
train_network
=
self
.
_exec_preprocess
(
self
.
_train_network
,
is_train
=
True
,
phase
=
'train'
,
...
...
@@ -295,6 +295,7 @@ class Model:
self
.
_eval_network
.
set_train
(
False
)
self
.
_eval_network
.
phase
=
'eval'
valid_dataset
.
__no_send__
=
True
valid_dataset_helper
,
eval_network
=
self
.
_exec_preprocess
(
self
.
_eval_network
,
is_train
=
False
,
phase
=
'eval'
,
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录