提交 51603c11 编写于 作者: M mindspore-ci-bot 提交者: Gitee

!449 Modify the format of the data enhancement tutorial.

Merge pull request !449 from chengxiaoli/add_data
......@@ -14,15 +14,15 @@
"接下来我们用一个图片分类的项目来体验计算图与数据图的生成与使用。\n",
" \n",
"## 本次体验的整体流程\n",
"1体验模型的数据选择使用MNIST数据集,MNIST数据集整体数据量比较小,更适合体验使用。\n",
"1. 体验模型的数据选择使用MNIST数据集,MNIST数据集整体数据量比较小,更适合体验使用。\n",
"\n",
"2初始化一个网络,本次的体验使用LeNet网络。\n",
"2. 初始化一个网络,本次的体验使用LeNet网络。\n",
"\n",
"3增加可视化功能的使用,并设定只记录计算图与数据图。\n",
"3. 增加可视化功能的使用,并设定只记录计算图与数据图。\n",
"\n",
"4加载训练数据集并进行训练,训练完成后,查看结果并保存模型文件。\n",
"4. 加载训练数据集并进行训练,训练完成后,查看结果并保存模型文件。\n",
"\n",
"5启用MindInsight的可视化图界面,进行训练过程的核对。"
"5. 启用MindInsight的可视化图界面,进行训练过程的核对。"
]
},
{
......@@ -187,11 +187,11 @@
"source": [
"### 可视化操作流程\n",
"\n",
"1准备训练脚本,在训练脚本中指定计算图的超参数信息,使用`Summary`保存到日志中,接着再运行训练脚本。\n",
"1. 准备训练脚本,在训练脚本中指定计算图的超参数信息,使用`Summary`保存到日志中,接着再运行训练脚本。\n",
"\n",
"2启动MindInsight,启动成功后,就可以通过访问命令执行后显示的地址,查看可视化界面。\n",
"2. 启动MindInsight,启动成功后,就可以通过访问命令执行后显示的地址,查看可视化界面。\n",
"\n",
"3访问可视化地址成功后,就可以对图界面进行查询等操作。"
"3. 访问可视化地址成功后,就可以对图界面进行查询等操作。"
]
},
{
......@@ -200,11 +200,11 @@
"source": [
"#### 初始化网络\n",
"\n",
"1导入构建网络所使用的模块。\n",
"1. 导入构建网络所使用的模块。\n",
"\n",
"2构建初始化参数的函数。\n",
"2. 构建初始化参数的函数。\n",
"\n",
"3创建网络,在网络中设置参数。"
"3. 创建网络,在网络中设置参数。"
]
},
{
......@@ -273,11 +273,11 @@
"source": [
"#### 主程序运行\n",
"\n",
"1首先在主函数之前调用所需要的模块,并在主函数之前使用相应接口。\n",
"1. 首先在主函数之前调用所需要的模块,并在主函数之前使用相应接口。\n",
"\n",
"2本次体验主要完成计算图与数据图的可视化,定义变量`specified={'collect_graph': True,'collect_dataset_graph': True}`,在`specified`字典中,键名`collect_graph`值设置为`True`,表示记录计算图;键名`collect_dataset_graph`值设置为`True`,表示记录数据图。\n",
"2. 本次体验主要完成计算图与数据图的可视化,定义变量`specified={'collect_graph': True,'collect_dataset_graph': True}`,在`specified`字典中,键名`collect_graph`值设置为`True`,表示记录计算图;键名`collect_dataset_graph`值设置为`True`,表示记录数据图。\n",
"\n",
"3定义完`specified`变量后,传参到`summary_collector`中,最后将`summary_collector`传参到`model`中。\n",
"3. 定义完`specified`变量后,传参到`summary_collector`中,最后将`summary_collector`传参到`model`中。\n",
"\n",
"至此,模型中就有了计算图与数据图的可视化功能。"
]
......@@ -357,11 +357,11 @@
"\n",
"数据图所展示的顺序与数据集使用处代码顺序对应\n",
"\n",
"1首先是从加载数据集`mnist_ds = ds.MnistDataset(data_path)`开始,对应数据图中`MnistDataset`。\n",
"1. 首先是从加载数据集`mnist_ds = ds.MnistDataset(data_path)`开始,对应数据图中`MnistDataset`。\n",
"\n",
"2在以下所示代码中,是数据预处理的一些方法,顺序与数据图中所示顺序对应。\n",
"2. 在以下所示代码中,是数据预处理的一些方法,顺序与数据图中所示顺序对应。\n",
"\n",
"`\n",
"```\n",
"type_cast_op = C.TypeCast(mstype.int32)\n",
"resize_op = CV.Resize((resize_height, resize_width), interpolation=Inter.LINEAR)\n",
"rescale_nml_op = CV.Rescale(rescale_nml, shift_nml)\n",
......@@ -372,21 +372,22 @@
"mnist_ds = mnist_ds.map(input_columns=\"image\", operations=rescale_op, num_parallel_workers=num_parallel_workers)\n",
"mnist_ds = mnist_ds.map(input_columns=\"image\", operations=rescale_nml_op, num_parallel_workers=num_parallel_workers)\n",
"mnist_ds = mnist_ds.map(input_columns=\"image\", operations=hwc2chw_op, num_parallel_workers=num_parallel_workers)\n",
"`\n",
"```\n",
"\n",
"- `TypeCast`:在数据集`create_data`函数中,使用:`TypeCase(mstype.int32)`,将数据类型转换成我们所设置的类型。\n",
"- `Resize`:在数据集`create_data`函数中,使用:`Resize(resize_height,resize_width = 32,32)`,可以将数据的高和宽做调整。\n",
"- `Rescale`:在数据集`create_data`函数中,使用:`rescale = 1.0 / 255.0`;`Rescale(rescale,shift)`,可以重新数据格式。\n",
"- `HWC2CHW`:在数据集`create_data`函数中,使用:`HWC2CHW()`,此方法可以将数据所带信息与通道结合,一并加载。\n",
"\n",
"3、前面的几个步骤是数据集的预处理顺序,后面几个步骤是模型加载数据集时要定义的参数,顺序与数据图中对应。\n",
"\n",
"`\n",
"3. 前面的几个步骤是数据集的预处理顺序,后面几个步骤是模型加载数据集时要定义的参数,顺序与数据图中对应。\n",
"\n",
"```\n",
"buffer_size = 10000\n",
"mnist_ds = mnist_ds.shuffle(buffer_size=buffer_size) # 10000 as in LeNet train script\n",
"mnist_ds = mnist_ds.batch(batch_size, drop_remainder=True)\n",
"mnist_ds = mnist_ds.repeat(repeat_size)\n",
"`\n",
"```\n",
" \n",
"- `Shuffle`:在数据集`create_data`函数中,使用:`buffer_size = 10000`,后面数值可以支持自行设置,表示一次缓存数据的数量。\n",
"- `Batch`:在数据集`create_data`函数中,使用:`batch_size = 32`。支持自行设置,表示将整体数据集划分成小批量数据集,每一个小批次作为一个整体进行训练。\n",
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册