Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
MindSpore
docs
提交
51603c11
D
docs
项目概览
MindSpore
/
docs
通知
4
Star
2
Fork
2
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
docs
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
51603c11
编写于
7月 25, 2020
作者:
M
mindspore-ci-bot
提交者:
Gitee
7月 25, 2020
浏览文件
操作
浏览文件
下载
差异文件
!449 Modify the format of the data enhancement tutorial.
Merge pull request !449 from chengxiaoli/add_data
上级
11471499
e16dcd7a
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
22 addition
and
21 deletion
+22
-21
tutorials/notebook/mindinsight/calculate_and_datagraphic.ipynb
...ials/notebook/mindinsight/calculate_and_datagraphic.ipynb
+22
-21
未找到文件。
tutorials/notebook/mindinsight/calculate_and_datagraphic.ipynb
浏览文件 @
51603c11
...
...
@@ -14,15 +14,15 @@
"接下来我们用一个图片分类的项目来体验计算图与数据图的生成与使用。\n",
" \n",
"## 本次体验的整体流程\n",
"1
、
体验模型的数据选择使用MNIST数据集,MNIST数据集整体数据量比较小,更适合体验使用。\n",
"1
.
体验模型的数据选择使用MNIST数据集,MNIST数据集整体数据量比较小,更适合体验使用。\n",
"\n",
"2
、
初始化一个网络,本次的体验使用LeNet网络。\n",
"2
.
初始化一个网络,本次的体验使用LeNet网络。\n",
"\n",
"3
、
增加可视化功能的使用,并设定只记录计算图与数据图。\n",
"3
.
增加可视化功能的使用,并设定只记录计算图与数据图。\n",
"\n",
"4
、
加载训练数据集并进行训练,训练完成后,查看结果并保存模型文件。\n",
"4
.
加载训练数据集并进行训练,训练完成后,查看结果并保存模型文件。\n",
"\n",
"5
、
启用MindInsight的可视化图界面,进行训练过程的核对。"
"5
.
启用MindInsight的可视化图界面,进行训练过程的核对。"
]
},
{
...
...
@@ -187,11 +187,11 @@
"source": [
"### 可视化操作流程\n",
"\n",
"1
、
准备训练脚本,在训练脚本中指定计算图的超参数信息,使用`Summary`保存到日志中,接着再运行训练脚本。\n",
"1
.
准备训练脚本,在训练脚本中指定计算图的超参数信息,使用`Summary`保存到日志中,接着再运行训练脚本。\n",
"\n",
"2
、
启动MindInsight,启动成功后,就可以通过访问命令执行后显示的地址,查看可视化界面。\n",
"2
.
启动MindInsight,启动成功后,就可以通过访问命令执行后显示的地址,查看可视化界面。\n",
"\n",
"3
、
访问可视化地址成功后,就可以对图界面进行查询等操作。"
"3
.
访问可视化地址成功后,就可以对图界面进行查询等操作。"
]
},
{
...
...
@@ -200,11 +200,11 @@
"source": [
"#### 初始化网络\n",
"\n",
"1
、
导入构建网络所使用的模块。\n",
"1
.
导入构建网络所使用的模块。\n",
"\n",
"2
、
构建初始化参数的函数。\n",
"2
.
构建初始化参数的函数。\n",
"\n",
"3
、
创建网络,在网络中设置参数。"
"3
.
创建网络,在网络中设置参数。"
]
},
{
...
...
@@ -273,11 +273,11 @@
"source": [
"#### 主程序运行\n",
"\n",
"1
、
首先在主函数之前调用所需要的模块,并在主函数之前使用相应接口。\n",
"1
.
首先在主函数之前调用所需要的模块,并在主函数之前使用相应接口。\n",
"\n",
"2
、
本次体验主要完成计算图与数据图的可视化,定义变量`specified={'collect_graph': True,'collect_dataset_graph': True}`,在`specified`字典中,键名`collect_graph`值设置为`True`,表示记录计算图;键名`collect_dataset_graph`值设置为`True`,表示记录数据图。\n",
"2
.
本次体验主要完成计算图与数据图的可视化,定义变量`specified={'collect_graph': True,'collect_dataset_graph': True}`,在`specified`字典中,键名`collect_graph`值设置为`True`,表示记录计算图;键名`collect_dataset_graph`值设置为`True`,表示记录数据图。\n",
"\n",
"3
、
定义完`specified`变量后,传参到`summary_collector`中,最后将`summary_collector`传参到`model`中。\n",
"3
.
定义完`specified`变量后,传参到`summary_collector`中,最后将`summary_collector`传参到`model`中。\n",
"\n",
"至此,模型中就有了计算图与数据图的可视化功能。"
]
...
...
@@ -357,11 +357,11 @@
"\n",
"数据图所展示的顺序与数据集使用处代码顺序对应\n",
"\n",
"1
、
首先是从加载数据集`mnist_ds = ds.MnistDataset(data_path)`开始,对应数据图中`MnistDataset`。\n",
"1
.
首先是从加载数据集`mnist_ds = ds.MnistDataset(data_path)`开始,对应数据图中`MnistDataset`。\n",
"\n",
"2
、
在以下所示代码中,是数据预处理的一些方法,顺序与数据图中所示顺序对应。\n",
"2
.
在以下所示代码中,是数据预处理的一些方法,顺序与数据图中所示顺序对应。\n",
"\n",
"`\n",
"`
``
\n",
"type_cast_op = C.TypeCast(mstype.int32)\n",
"resize_op = CV.Resize((resize_height, resize_width), interpolation=Inter.LINEAR)\n",
"rescale_nml_op = CV.Rescale(rescale_nml, shift_nml)\n",
...
...
@@ -372,21 +372,22 @@
"mnist_ds = mnist_ds.map(input_columns=\"image\", operations=rescale_op, num_parallel_workers=num_parallel_workers)\n",
"mnist_ds = mnist_ds.map(input_columns=\"image\", operations=rescale_nml_op, num_parallel_workers=num_parallel_workers)\n",
"mnist_ds = mnist_ds.map(input_columns=\"image\", operations=hwc2chw_op, num_parallel_workers=num_parallel_workers)\n",
"`\n",
"`
``
\n",
"\n",
"- `TypeCast`:在数据集`create_data`函数中,使用:`TypeCase(mstype.int32)`,将数据类型转换成我们所设置的类型。\n",
"- `Resize`:在数据集`create_data`函数中,使用:`Resize(resize_height,resize_width = 32,32)`,可以将数据的高和宽做调整。\n",
"- `Rescale`:在数据集`create_data`函数中,使用:`rescale = 1.0 / 255.0`;`Rescale(rescale,shift)`,可以重新数据格式。\n",
"- `HWC2CHW`:在数据集`create_data`函数中,使用:`HWC2CHW()`,此方法可以将数据所带信息与通道结合,一并加载。\n",
"\n",
"3、前面的几个步骤是数据集的预处理顺序,后面几个步骤是模型加载数据集时要定义的参数,顺序与数据图中对应。\n",
"\n",
"`\n",
"3. 前面的几个步骤是数据集的预处理顺序,后面几个步骤是模型加载数据集时要定义的参数,顺序与数据图中对应。\n",
"\n",
"```\n",
"buffer_size = 10000\n",
"mnist_ds = mnist_ds.shuffle(buffer_size=buffer_size) # 10000 as in LeNet train script\n",
"mnist_ds = mnist_ds.batch(batch_size, drop_remainder=True)\n",
"mnist_ds = mnist_ds.repeat(repeat_size)\n",
"`\n",
"`
``
\n",
" \n",
"- `Shuffle`:在数据集`create_data`函数中,使用:`buffer_size = 10000`,后面数值可以支持自行设置,表示一次缓存数据的数量。\n",
"- `Batch`:在数据集`create_data`函数中,使用:`batch_size = 32`。支持自行设置,表示将整体数据集划分成小批量数据集,每一个小批次作为一个整体进行训练。\n",
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录