Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
MindSpore
course
提交
36960f5b
C
course
项目概览
MindSpore
/
course
通知
4
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
C
course
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
36960f5b
编写于
5月 20, 2020
作者:
N
njzheng
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Modify error and title size
上级
af85268f
变更
4
隐藏空白更改
内联
并排
Showing
4 changed file
with
20 addition
and
20 deletion
+20
-20
experiment_1/1-LeNet5_MNIST.ipynb
experiment_1/1-LeNet5_MNIST.ipynb
+6
-6
experiment_2/2-Save_And_Load_Model.ipynb
experiment_2/2-Save_And_Load_Model.ipynb
+6
-6
experiment_3/3-Computer_Vision.md
experiment_3/3-Computer_Vision.md
+1
-2
experiment_4/4-Natural_Language_Processing.md
experiment_4/4-Natural_Language_Processing.md
+7
-6
未找到文件。
experiment_1/1-LeNet5_MNIST.ipynb
浏览文件 @
36960f5b
...
...
@@ -6,7 +6,6 @@
"source": [
"<h1 style=\"text-align:center\">基于LeNet5的手写数字识别</h1>\n",
"\n",
"[TOC]\n",
"\n",
"## 实验介绍\n",
"\n",
...
...
@@ -36,7 +35,7 @@
"\n",
"本实验需要使用华为云OBS存储实验脚本和数据集,可以参考[快速通过OBS控制台上传下载文件](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html)了解使用OBS创建桶、上传文件、下载文件的使用方法。\n",
"\n",
"> **提示:**华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。\n",
"> **提示:**
华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。\n",
"\n",
"创建OBS桶的参考配置如下:\n",
"\n",
...
...
@@ -102,9 +101,9 @@
"> - 打开Notebook前,在Jupyter Notebook文件列表页面,勾选目录里的所有文件/文件夹(实验脚本和数据集),并点击列表上方的“Sync OBS”按钮,使OBS桶中的所有文件同时同步到Notebook工作环境中,这样Notebook中的代码才能访问数据集。参考[使用Sync OBS功能](https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0038.html)。\n",
"> - 打开Notebook后,选择MindSpore环境作为Kernel。\n",
"\n",
"> **提示:**上述数据集和脚本的准备工作也可以在Notebook环境中完成,在Jupyter Notebook文件列表页面,点击右上角的\"New\"->\"Terminal\",进入Notebook环境所在终端,进入`work`目录,可以使用常用的linux shell命令,如`wget, gzip, tar, mkdir, mv`等,完成数据集和脚本的下载和准备。\n",
"> **提示:**
上述数据集和脚本的准备工作也可以在Notebook环境中完成,在Jupyter Notebook文件列表页面,点击右上角的\"New\"->\"Terminal\",进入Notebook环境所在终端,进入`work`目录,可以使用常用的linux shell命令,如`wget, gzip, tar, mkdir, mv`等,完成数据集和脚本的下载和准备。\n",
"\n",
"> **提示:**请从上至下阅读提示并执行代码框进行体验。代码框执行过程中左侧呈现[\\*],代码框执行完毕后左侧呈现如[1],[2]等。请等上一个代码框执行完毕后再执行下一个代码框。\n",
"> **提示:**
请从上至下阅读提示并执行代码框进行体验。代码框执行过程中左侧呈现[\\*],代码框执行完毕后左侧呈现如[1],[2]等。请等上一个代码框执行完毕后再执行下一个代码框。\n",
"\n",
"导入MindSpore模块和辅助模块:"
]
...
...
@@ -221,6 +220,7 @@
"定义LeNet5模型,模型结构如下图所示。\n",
"\n",
"<img src=\"http://deeplearning.net/tutorial/_images/mylenet.png\">\n",
"\n",
"[1] 图片来源于http://deeplearning.net"
]
},
...
...
@@ -294,7 +294,7 @@
"source": [
"使用随机初始化的LeNet模型对手写数字进行识别,可以看到识别结果是随机的(大多数情况下是错误的)。\n",
"\n",
"> **提示:**MindSpore提供的基础数据类型为Tensor,Tensor支持numpy、list、tuple作为输入,并将其转换为Tensor类型。"
"> **提示:**
MindSpore提供的基础数据类型为Tensor,Tensor支持numpy、list、tuple作为输入,并将其转换为Tensor类型。"
]
},
{
...
...
@@ -509,7 +509,7 @@
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.7.
5
"
"version": "3.7.
6
"
}
},
"nbformat": 4,
...
...
experiment_2/2-Save_And_Load_Model.ipynb
浏览文件 @
36960f5b
...
...
@@ -6,7 +6,6 @@
"source": [
"<h1 style=\"text-align:center\">训练时模型的保存和加载</h1>\n",
"\n",
"[TOC]\n",
"\n",
"## 实验介绍\n",
"\n",
...
...
@@ -36,7 +35,7 @@
"\n",
"本实验需要使用华为云OBS存储实验脚本和数据集,可以参考[快速通过OBS控制台上传下载文件](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html)了解使用OBS创建桶、上传文件、下载文件的使用方法。\n",
"\n",
"> **提示:**华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。\n",
"> **提示:**
华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。\n",
"\n",
"创建OBS桶的参考配置如下:\n",
"\n",
...
...
@@ -70,7 +69,7 @@
"将脚本和数据集上传到OBS桶中,组织为如下形式:\n",
"\n",
"```\n",
"experiment_
1
\n",
"experiment_
2
\n",
"├── MNIST\n",
"│ ├── test\n",
"│ │ ├── t10k-images-idx3-ubyte\n",
...
...
@@ -184,6 +183,7 @@
"定义LeNet5模型,模型结构如下图所示。\n",
"\n",
"<img src=\"http://deeplearning.net/tutorial/_images/mylenet.png\">\n",
"\n",
"[1] 图片来源于http://deeplearning.net"
]
},
...
...
@@ -513,8 +513,8 @@
"- 算法来源:常用框架->Ascend-Powered-Engine->MindSpore\n",
"- 代码目录:选择上述新建的OBS桶中的experiment_2目录\n",
"- 启动文件:选择上述新建的OBS桶中的experiment_2目录下的`main.py`\n",
"- 数据来源:数据存储位置->选择上述新建的OBS桶中的experiment_
1
文件夹下的MNIST目录\n",
"- 训练输出位置:选择上述新建的OBS桶中的experiment_
1
目录并在其中创建output目录\n",
"- 数据来源:数据存储位置->选择上述新建的OBS桶中的experiment_
2
文件夹下的MNIST目录\n",
"- 训练输出位置:选择上述新建的OBS桶中的experiment_
2
目录并在其中创建output目录\n",
"- 作业日志路径:同训练输出位置\n",
"- 规格:Ascend:1*Ascend 910\n",
"- 其他均为默认\n",
...
...
@@ -558,7 +558,7 @@
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.7.
5
"
"version": "3.7.
6
"
}
},
"nbformat": 4,
...
...
experiment_3/3-Computer_Vision.md
浏览文件 @
36960f5b
<h1
style=
"text-align:center"
>
计算机视觉应用
</h1>
[TOC]
## 实验介绍
...
...
@@ -30,7 +29,7 @@
本实验需要使用华为云OBS存储脚本和数据集,可以参考
[
快速通过OBS控制台上传下载文件
](
https://support.huaweicloud.com/qs-obs/obs_qs_0001.html
)
了解使用OBS创建桶、上传文件、下载文件的使用方法。
> **提示:**华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。
> **提示:**
华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。
创建OBS桶的参考配置如下:
...
...
experiment_4/4-Natural_Language_Processing.md
浏览文件 @
36960f5b
<h1
style=
"text-align:center"
>
自然语言处理应用
</h1>
[TOC]
## 实验介绍
...
...
@@ -30,7 +29,7 @@
本实验需要使用华为云OBS存储脚本和数据集,可以参考
[
快速通过OBS控制台上传下载文件
](
https://support.huaweicloud.com/qs-obs/obs_qs_0001.html
)
了解使用OBS创建桶、上传文件、下载文件的使用方法。
> **提示:**华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。
> **提示:**
华为云新用户使用OBS时通常需要创建和配置“访问密钥”,可以在使用OBS时根据提示完成创建和配置。也可以参考[获取访问密钥并完成ModelArts全局配置](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获取并配置访问密钥。
创建OBS桶的参考配置如下:
...
...
@@ -104,7 +103,8 @@ BERT预训练阶段包含两个任务(两个输出):
-
Mask语言模型(Mask LM):预测被掩盖掉(mask)的单词;
-
NextSentence预测(NSP):判断句子对是否具有上下文关系,即句子B是否时句子A的下一句。
### 代码梳理
#### 代码梳理
model_zoo:Bert_NEZHA中包含两个模块:
...
...
@@ -214,6 +214,7 @@ class BertModel(nn.Cell):
`BertAttention`
为Multi-Head Attention:
![
Multi-Head Attention
](
https://pic3.zhimg.com/80/v2-58d60594bc3e9cbe47faec82ef29fd76_720w.jpg
)
[4] 图片来源于https://zhuanlan.zhihu.com/p/34781297 和https://arxiv.org/pdf/1706.03762.pdf
创建训练作业时,运行参数会通过脚本传参的方式输入给脚本代码,脚本必须解析传参才能在代码中使用相应参数。如data_url和train_url,分别对应数据存储路径(OBS路径)和训练输出路径(OBS路径)。脚本对传参进行解析后赋值到
`args`
变量里,在后续代码里可以使用。
...
...
@@ -304,7 +305,7 @@ class BertNERModel(nn.Cell):
可以参考
[
使用常用框架训练模型
](
https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0238.html
)
来创建并启动训练作业。
### 代码梳理
###
#
代码梳理
创建训练作业的参考配置:
...
...
@@ -324,11 +325,11 @@ class BertNERModel(nn.Cell):
3.
点击运行中的训练作业,在展开的窗口中可以查看作业配置信息,以及训练过程中的日志,日志会不断刷新,等训练作业完成后也可以下载日志到本地进行查看;
4.
在训练日志中可以看到
`epoch: 3, step: 10005, outputs are (1.4425085, False)`
等字段,即微调过程的输出;
## 验证BERT
##
#
验证BERT
在TNEWS验证集上对微调后的BERT模型做验证(evaluation)。
### 代码梳理
###
#
代码梳理
验证BERT依赖如下几个模块:
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录