Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
MindSpore
docs
提交
dcad569e
D
docs
项目概览
MindSpore
/
docs
通知
5
Star
3
Fork
2
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
docs
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
dcad569e
编写于
8月 11, 2020
作者:
L
lvmingfu
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix code in mindinsight_model_lineage_and_data_lineage.ipynb
上级
18fc807a
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
25 addition
and
25 deletion
+25
-25
tutorials/notebook/mindinsight/mindinsight_model_lineage_and_data_lineage.ipynb
...dinsight/mindinsight_model_lineage_and_data_lineage.ipynb
+25
-25
未找到文件。
tutorials/notebook/mindinsight/mindinsight_model_lineage_and_data_lineage.ipynb
浏览文件 @
dcad569e
...
...
@@ -19,7 +19,7 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"下面按照MindSpore的训练数据模型的正常步骤进行,当使用
到MindInsight或者`SummaryCollector`算子
进行数据保存操作时,会增加相应的说明,本次体验的整体流程如下:"
"下面按照MindSpore的训练数据模型的正常步骤进行,当使用
`SummaryCollector`
进行数据保存操作时,会增加相应的说明,本次体验的整体流程如下:"
]
},
{
...
...
@@ -28,15 +28,15 @@
"source": [
"1. 数据集的准备,这里使用的是MNIST数据集。\n",
"\n",
"2. 构建一个网络,这里使用LeNet网络。
(此处将使用第二种记录方式`ImageSummary`)。
\n",
"2. 构建一个网络,这里使用LeNet网络。\n",
"\n",
"3.
训练网络和测试网络的搭建及运行。(此处将操作`SummaryCollector`初始化,并记录模型训练和模型测试相关信息)
。\n",
"3.
搭建及运行训练网络和测试网络
。\n",
"\n",
"4. 启动MindInsight服务。\n",
"\n",
"5. 模型溯源的使用。调整模型参数多次存储数据,并使用MindInsight的模型溯源功能对不同优化参数下训练产生的模型作对比,了解MindSpore中的各类优化对训练过程的影响及如何调优训练过程。\n",
"5. 模型溯源的使用。调整模型参数多次
训练并
存储数据,并使用MindInsight的模型溯源功能对不同优化参数下训练产生的模型作对比,了解MindSpore中的各类优化对训练过程的影响及如何调优训练过程。\n",
"\n",
"6. 数据溯源的使用。调整数据参数多次存储数据,并使用MindInsight的数据溯源功能对不同数据集下训练产生的模型进行对比分析,了解如何调优。"
"6. 数据溯源的使用。调整数据参数多次
训练并
存储数据,并使用MindInsight的数据溯源功能对不同数据集下训练产生的模型进行对比分析,了解如何调优。"
]
},
{
...
...
@@ -215,7 +215,9 @@
"\n",
" # according to the parameters, generate the corresponding data enhancement method\n",
" resize_op = CV.Resize((resize_height, resize_width), interpolation=Inter.LINEAR)\n",
" # if you need to use SummaryCollector to extract image data, do not use the following normalize operator operation\n",
" rescale_nml_op = CV.Rescale(rescale_nml, shift_nml)\n",
" \n",
" rescale_op = CV.Rescale(rescale, shift)\n",
" hwc2chw_op = CV.HWC2CHW()\n",
" type_cast_op = C.TypeCast(mstype.int32)\n",
...
...
@@ -328,7 +330,7 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"### 使用SummaryCollector
放入到训练网络中
记录训练数据"
"### 使用SummaryCollector记录训练数据"
]
},
{
...
...
@@ -360,7 +362,7 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"### 使用SummaryCollector
放入到测试网络中
记录测试数据"
"### 使用SummaryCollector记录测试数据"
]
},
{
...
...
@@ -412,7 +414,6 @@
"outputs": [],
"source": [
"from mindspore.train.callback import SummaryCollector\n",
"from mindspore.train.summary.summary_record import SummaryRecord\n",
"from mindspore.nn.metrics import Accuracy\n",
"from mindspore import context\n",
"from mindspore.nn.loss import SoftmaxCrossEntropyWithLogits\n",
...
...
@@ -462,8 +463,7 @@
"- 启动MindInsight服务\n",
"\n",
" 在安装过MindInsight的环境中启动MindInsight服务:\n",
" - `--summary-base-dir`:MindInsight指定启动工作路径的命令。\n",
" - `./summary_base`:SummaryRecord保存文件夹的目录。\n",
" - `--summary-base-dir`:MindInsight指定启动工作路径的命令;`./summary_base`表示SummaryRecord保存文件夹的目录。\n",
" - `--port`:MindInsight指定启动的端口,数值可以任意为1~65535的范围内。"
]
},
...
...
@@ -474,14 +474,14 @@
"outputs": [],
"source": [
"import os\n",
"os.system(\"mindinsight start --summary-base-dir=./summary_base --port=80
9
0\")"
"os.system(\"mindinsight start --summary-base-dir=./summary_base --port=80
8
0\")"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"查询是否启动成功,在网址输入:`127.0.0.1:80
9
0`,如果看到如下界面说明启动成功。"
"查询是否启动成功,在网址输入:`127.0.0.1:80
8
0`,如果看到如下界面说明启动成功。"
]
},
{
...
...
@@ -497,9 +497,9 @@
"source": [
"- 关闭MindInsight服务\n",
"\n",
" 在安装过MindInsight的环境中输入命令:`mindinsight stop --port=80
9
0`\n",
" 在安装过MindInsight的环境中输入命令:`mindinsight stop --port=80
8
0`\n",
" - `mindinsight stop`:MindInsight关闭服务命令。\n",
" - `--port=80
90`:即MindInsight服务开启在`8090`端口,所以这里写成`--port=809
0`。"
" - `--port=80
80`:即MindInsight服务开启在`8080`端口,所以这里写成`--port=808
0`。"
]
},
{
...
...
@@ -520,7 +520,7 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"浏览器中输入:`127.0.0.1:80
9
0`,点击模型溯源,如下模型溯源界面:"
"浏览器中输入:`127.0.0.1:80
8
0`,点击模型溯源,如下模型溯源界面:"
]
},
{
...
...
@@ -541,19 +541,19 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"-
`summary路径`
:表示存储记录数据的文件夹路径,即`summary_dir`。\n",
"-
训练日志路径
:表示存储记录数据的文件夹路径,即`summary_dir`。\n",
"- `Accuracy`:模型的精度值。\n",
"- `loss`:模型的loss值。\n",
"- 网络:表示神经网络名称
(用户可自行命名)
。\n",
"- 网络:表示神经网络名称。\n",
"- 优化器:表示训练过程中采用的优化器。\n",
"- 训练样本数量:训练样本数量。\n",
"- 测试样本数量:测试样本数量。\n",
"- 学习率:learning_rate的值。\n",
"- `epoch`:训练
圈
数。\n",
"- `steps`:训练
步
数。\n",
"- `epoch`:训练
整个数据集的次
数。\n",
"- `steps`:训练
迭代
数。\n",
"- device数目:启用的训练卡数目。\n",
"- 模型大小:生成的模型文件`.ckpt`的大小。\n",
"- 损失函数:表示训练过程中采用的损失函数
(用户可自行命名)
。"
"- 损失函数:表示训练过程中采用的损失函数。"
]
},
{
...
...
@@ -589,7 +589,7 @@
"metadata": {},
"source": [
"在这几次训练的参数中,优化器,epoch和学习率都不一致,可以看到不同的训练生成的模型精度`Accuracy`和loss值是不一致的,当然最好是调整单个参数来观察对模型生成的影响,避免多重因素干扰,难以分辨哪个参数是正影响,哪个参数是负影响。这需要我们调整不同的参数,多训练几遍生成模型,分析各参数对训练产生的影响,这对前期学习AI训练时很有帮助。在以后应对复杂训练时,可以节省不少时间。\n",
"> 在多次训练时,需要将`summary_dir`的
保存路径的文件夹进行重命名操作,否则训练记录的数据会生成在同一个文件夹下,而在同一文件夹下MindInsight只会读取最后一位数字比较大的文件即最后
生成的文件。"
"> 在多次训练时,需要将`summary_dir`的
指定为不同的文件夹,否则训练记录的数据会生成在同一个文件夹下,而在同一文件夹下MindInsight只会读取最新
生成的文件。"
]
},
{
...
...
@@ -610,7 +610,7 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"浏览器中输入:`127.0.0.1:80
9
0`连接上MindInsight的服务,点击模型溯源,如下图数据溯源界面:"
"浏览器中输入:`127.0.0.1:80
8
0`连接上MindInsight的服务,点击模型溯源,如下图数据溯源界面:"
]
},
{
...
...
@@ -631,7 +631,7 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"-
`summary路径`:表示存储记录数据的文件夹名称,即为`SummaryRecord`的路径下的文件夹名称
。\n",
"-
训练日志路径:表示存储记录数据的文件夹路径,即`summary_dir`
。\n",
"- `MnistDataset`:表示数据集信息,包含数据集路径。\n",
"- `Map_TypeCast`:定义数据集的类型。\n",
"- `Map_Resize`:图像缩放后的尺寸。\n",
...
...
@@ -670,7 +670,7 @@
"outputs": [],
"source": [
"import os\n",
"os.system(\"mindinsight stop --port=80
9
0\")"
"os.system(\"mindinsight stop --port=80
8
0\")"
]
},
{
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录