提交 d213468a 编写于 作者: M mindspore-ci-bot 提交者: Gitee

!633 fix code in mindinsight_model_lineage_and_data_lineage.ipynb

Merge pull request !633 from lvmingfu/master
...@@ -19,7 +19,7 @@ ...@@ -19,7 +19,7 @@
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"下面按照MindSpore的训练数据模型的正常步骤进行,当使用到MindInsight或者`SummaryCollector`算子进行数据保存操作时,会增加相应的说明,本次体验的整体流程如下:" "下面按照MindSpore的训练数据模型的正常步骤进行,当使用`SummaryCollector`进行数据保存操作时,会增加相应的说明,本次体验的整体流程如下:"
] ]
}, },
{ {
...@@ -28,15 +28,15 @@ ...@@ -28,15 +28,15 @@
"source": [ "source": [
"1. 数据集的准备,这里使用的是MNIST数据集。\n", "1. 数据集的准备,这里使用的是MNIST数据集。\n",
"\n", "\n",
"2. 构建一个网络,这里使用LeNet网络。(此处将使用第二种记录方式`ImageSummary`)。\n", "2. 构建一个网络,这里使用LeNet网络。\n",
"\n", "\n",
"3. 训练网络和测试网络的搭建及运行。(此处将操作`SummaryCollector`初始化,并记录模型训练和模型测试相关信息)。\n", "3. 搭建及运行训练网络和测试网络。\n",
"\n", "\n",
"4. 启动MindInsight服务。\n", "4. 启动MindInsight服务。\n",
"\n", "\n",
"5. 模型溯源的使用。调整模型参数多次存储数据,并使用MindInsight的模型溯源功能对不同优化参数下训练产生的模型作对比,了解MindSpore中的各类优化对训练过程的影响及如何调优训练过程。\n", "5. 模型溯源的使用。调整模型参数多次训练并存储数据,并使用MindInsight的模型溯源功能对不同优化参数下训练产生的模型作对比,了解MindSpore中的各类优化对训练过程的影响及如何调优训练过程。\n",
"\n", "\n",
"6. 数据溯源的使用。调整数据参数多次存储数据,并使用MindInsight的数据溯源功能对不同数据集下训练产生的模型进行对比分析,了解如何调优。" "6. 数据溯源的使用。调整数据参数多次训练并存储数据,并使用MindInsight的数据溯源功能对不同数据集下训练产生的模型进行对比分析,了解如何调优。"
] ]
}, },
{ {
...@@ -215,7 +215,9 @@ ...@@ -215,7 +215,9 @@
"\n", "\n",
" # according to the parameters, generate the corresponding data enhancement method\n", " # according to the parameters, generate the corresponding data enhancement method\n",
" resize_op = CV.Resize((resize_height, resize_width), interpolation=Inter.LINEAR)\n", " resize_op = CV.Resize((resize_height, resize_width), interpolation=Inter.LINEAR)\n",
" # if you need to use SummaryCollector to extract image data, do not use the following normalize operator operation\n",
" rescale_nml_op = CV.Rescale(rescale_nml, shift_nml)\n", " rescale_nml_op = CV.Rescale(rescale_nml, shift_nml)\n",
" \n",
" rescale_op = CV.Rescale(rescale, shift)\n", " rescale_op = CV.Rescale(rescale, shift)\n",
" hwc2chw_op = CV.HWC2CHW()\n", " hwc2chw_op = CV.HWC2CHW()\n",
" type_cast_op = C.TypeCast(mstype.int32)\n", " type_cast_op = C.TypeCast(mstype.int32)\n",
...@@ -328,7 +330,7 @@ ...@@ -328,7 +330,7 @@
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"### 使用SummaryCollector放入到训练网络中记录训练数据" "### 使用SummaryCollector记录训练数据"
] ]
}, },
{ {
...@@ -360,7 +362,7 @@ ...@@ -360,7 +362,7 @@
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"### 使用SummaryCollector放入到测试网络中记录测试数据" "### 使用SummaryCollector记录测试数据"
] ]
}, },
{ {
...@@ -412,7 +414,6 @@ ...@@ -412,7 +414,6 @@
"outputs": [], "outputs": [],
"source": [ "source": [
"from mindspore.train.callback import SummaryCollector\n", "from mindspore.train.callback import SummaryCollector\n",
"from mindspore.train.summary.summary_record import SummaryRecord\n",
"from mindspore.nn.metrics import Accuracy\n", "from mindspore.nn.metrics import Accuracy\n",
"from mindspore import context\n", "from mindspore import context\n",
"from mindspore.nn.loss import SoftmaxCrossEntropyWithLogits\n", "from mindspore.nn.loss import SoftmaxCrossEntropyWithLogits\n",
...@@ -462,8 +463,7 @@ ...@@ -462,8 +463,7 @@
"- 启动MindInsight服务\n", "- 启动MindInsight服务\n",
"\n", "\n",
" 在安装过MindInsight的环境中启动MindInsight服务:\n", " 在安装过MindInsight的环境中启动MindInsight服务:\n",
" - `--summary-base-dir`:MindInsight指定启动工作路径的命令。\n", " - `--summary-base-dir`:MindInsight指定启动工作路径的命令;`./summary_base`表示SummaryRecord保存文件夹的目录。\n",
" - `./summary_base`:SummaryRecord保存文件夹的目录。\n",
" - `--port`:MindInsight指定启动的端口,数值可以任意为1~65535的范围内。" " - `--port`:MindInsight指定启动的端口,数值可以任意为1~65535的范围内。"
] ]
}, },
...@@ -474,14 +474,14 @@ ...@@ -474,14 +474,14 @@
"outputs": [], "outputs": [],
"source": [ "source": [
"import os\n", "import os\n",
"os.system(\"mindinsight start --summary-base-dir=./summary_base --port=8090\")" "os.system(\"mindinsight start --summary-base-dir=./summary_base --port=8080\")"
] ]
}, },
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"查询是否启动成功,在网址输入:`127.0.0.1:8090`,如果看到如下界面说明启动成功。" "查询是否启动成功,在网址输入:`127.0.0.1:8080`,如果看到如下界面说明启动成功。"
] ]
}, },
{ {
...@@ -497,9 +497,9 @@ ...@@ -497,9 +497,9 @@
"source": [ "source": [
"- 关闭MindInsight服务\n", "- 关闭MindInsight服务\n",
"\n", "\n",
" 在安装过MindInsight的环境中输入命令:`mindinsight stop --port=8090`\n", " 在安装过MindInsight的环境中输入命令:`mindinsight stop --port=8080`\n",
" - `mindinsight stop`:MindInsight关闭服务命令。\n", " - `mindinsight stop`:MindInsight关闭服务命令。\n",
" - `--port=8090`:即MindInsight服务开启在`8090`端口,所以这里写成`--port=8090`。" " - `--port=8080`:即MindInsight服务开启在`8080`端口,所以这里写成`--port=8080`。"
] ]
}, },
{ {
...@@ -520,7 +520,7 @@ ...@@ -520,7 +520,7 @@
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"浏览器中输入:`127.0.0.1:8090`,点击模型溯源,如下模型溯源界面:" "浏览器中输入:`127.0.0.1:8080`,点击模型溯源,如下模型溯源界面:"
] ]
}, },
{ {
...@@ -541,19 +541,19 @@ ...@@ -541,19 +541,19 @@
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"- `summary路径`:表示存储记录数据的文件夹路径,即`summary_dir`。\n", "- 训练日志路径:表示存储记录数据的文件夹路径,即`summary_dir`。\n",
"- `Accuracy`:模型的精度值。\n", "- `Accuracy`:模型的精度值。\n",
"- `loss`:模型的loss值。\n", "- `loss`:模型的loss值。\n",
"- 网络:表示神经网络名称(用户可自行命名)。\n", "- 网络:表示神经网络名称。\n",
"- 优化器:表示训练过程中采用的优化器。\n", "- 优化器:表示训练过程中采用的优化器。\n",
"- 训练样本数量:训练样本数量。\n", "- 训练样本数量:训练样本数量。\n",
"- 测试样本数量:测试样本数量。\n", "- 测试样本数量:测试样本数量。\n",
"- 学习率:learning_rate的值。\n", "- 学习率:learning_rate的值。\n",
"- `epoch`:训练数。\n", "- `epoch`:训练整个数据集的次数。\n",
"- `steps`:训练数。\n", "- `steps`:训练迭代数。\n",
"- device数目:启用的训练卡数目。\n", "- device数目:启用的训练卡数目。\n",
"- 模型大小:生成的模型文件`.ckpt`的大小。\n", "- 模型大小:生成的模型文件`.ckpt`的大小。\n",
"- 损失函数:表示训练过程中采用的损失函数(用户可自行命名)。" "- 损失函数:表示训练过程中采用的损失函数。"
] ]
}, },
{ {
...@@ -589,7 +589,7 @@ ...@@ -589,7 +589,7 @@
"metadata": {}, "metadata": {},
"source": [ "source": [
"在这几次训练的参数中,优化器,epoch和学习率都不一致,可以看到不同的训练生成的模型精度`Accuracy`和loss值是不一致的,当然最好是调整单个参数来观察对模型生成的影响,避免多重因素干扰,难以分辨哪个参数是正影响,哪个参数是负影响。这需要我们调整不同的参数,多训练几遍生成模型,分析各参数对训练产生的影响,这对前期学习AI训练时很有帮助。在以后应对复杂训练时,可以节省不少时间。\n", "在这几次训练的参数中,优化器,epoch和学习率都不一致,可以看到不同的训练生成的模型精度`Accuracy`和loss值是不一致的,当然最好是调整单个参数来观察对模型生成的影响,避免多重因素干扰,难以分辨哪个参数是正影响,哪个参数是负影响。这需要我们调整不同的参数,多训练几遍生成模型,分析各参数对训练产生的影响,这对前期学习AI训练时很有帮助。在以后应对复杂训练时,可以节省不少时间。\n",
"> 在多次训练时,需要将`summary_dir`的保存路径的文件夹进行重命名操作,否则训练记录的数据会生成在同一个文件夹下,而在同一文件夹下MindInsight只会读取最后一位数字比较大的文件即最后生成的文件。" "> 在多次训练时,需要将`summary_dir`的指定为不同的文件夹,否则训练记录的数据会生成在同一个文件夹下,而在同一文件夹下MindInsight只会读取最新生成的文件。"
] ]
}, },
{ {
...@@ -610,7 +610,7 @@ ...@@ -610,7 +610,7 @@
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"浏览器中输入:`127.0.0.1:8090`连接上MindInsight的服务,点击模型溯源,如下图数据溯源界面:" "浏览器中输入:`127.0.0.1:8080`连接上MindInsight的服务,点击模型溯源,如下图数据溯源界面:"
] ]
}, },
{ {
...@@ -631,7 +631,7 @@ ...@@ -631,7 +631,7 @@
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"- `summary路径`:表示存储记录数据的文件夹名称,即为`SummaryRecord`的路径下的文件夹名称。\n", "- 训练日志路径:表示存储记录数据的文件夹路径,即`summary_dir`。\n",
"- `MnistDataset`:表示数据集信息,包含数据集路径。\n", "- `MnistDataset`:表示数据集信息,包含数据集路径。\n",
"- `Map_TypeCast`:定义数据集的类型。\n", "- `Map_TypeCast`:定义数据集的类型。\n",
"- `Map_Resize`:图像缩放后的尺寸。\n", "- `Map_Resize`:图像缩放后的尺寸。\n",
...@@ -670,7 +670,7 @@ ...@@ -670,7 +670,7 @@
"outputs": [], "outputs": [],
"source": [ "source": [
"import os\n", "import os\n",
"os.system(\"mindinsight stop --port=8090\")" "os.system(\"mindinsight stop --port=8080\")"
] ]
}, },
{ {
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册