diff --git a/experiment_1/1-LeNet5_MNIST.ipynb b/experiment_1/1-LeNet5_MNIST.ipynb index 57f357e3d3df03aed42a920bf895d7e4b2949657..6ae353fc14c81929f8bfba8b4d774295dc11e92f 100644 --- a/experiment_1/1-LeNet5_MNIST.ipynb +++ b/experiment_1/1-LeNet5_MNIST.ipynb @@ -6,7 +6,6 @@ "source": [ "<h1 style=\"text-align:center\">基于LeNet5的手写数å—识别</h1>\n", "\n", - "[TOC]\n", "\n", "## 实验介ç»\n", "\n", @@ -36,7 +35,7 @@ "\n", "本实验需è¦ä½¿ç”¨åŽä¸ºäº‘OBSå˜å‚¨å®žéªŒè„šæœ¬å’Œæ•°æ®é›†ï¼Œå¯ä»¥å‚考[快速通过OBS控制å°ä¸Šä¼ 下载文件](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html)了解使用OBS创建桶ã€ä¸Šä¼ 文件ã€ä¸‹è½½æ–‡ä»¶çš„使用方法。\n", "\n", - "> **æ示:**åŽä¸ºäº‘新用户使用OBS时通常需è¦åˆ›å»ºå’Œé…置“访问密钥â€ï¼Œå¯ä»¥åœ¨ä½¿ç”¨OBSæ—¶æ ¹æ®æ示完æˆåˆ›å»ºå’Œé…置。也å¯ä»¥å‚考[获å–访问密钥并完æˆModelArts全局é…ç½®](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获å–并é…置访问密钥。\n", + "> **æ示:** åŽä¸ºäº‘新用户使用OBS时通常需è¦åˆ›å»ºå’Œé…置“访问密钥â€ï¼Œå¯ä»¥åœ¨ä½¿ç”¨OBSæ—¶æ ¹æ®æ示完æˆåˆ›å»ºå’Œé…置。也å¯ä»¥å‚考[获å–访问密钥并完æˆModelArts全局é…ç½®](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获å–并é…置访问密钥。\n", "\n", "创建OBS桶的å‚考é…置如下:\n", "\n", @@ -102,9 +101,9 @@ "> - 打开Notebookå‰ï¼Œåœ¨Jupyter Notebook文件列表页é¢ï¼Œå‹¾é€‰ç›®å½•é‡Œçš„所有文件/文件夹(实验脚本和数æ®é›†ï¼‰ï¼Œå¹¶ç‚¹å‡»åˆ—表上方的“Sync OBSâ€æŒ‰é’®ï¼Œä½¿OBS桶ä¸çš„所有文件åŒæ—¶åŒæ¥åˆ°Notebook工作环境ä¸ï¼Œè¿™æ ·Notebookä¸çš„代ç æ‰èƒ½è®¿é—®æ•°æ®é›†ã€‚å‚考[使用Sync OBS功能](https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0038.html)。\n", "> - 打开NotebookåŽï¼Œé€‰æ‹©MindSpore环境作为Kernel。\n", "\n", - "> **æ示:**上述数æ®é›†å’Œè„šæœ¬çš„准备工作也å¯ä»¥åœ¨Notebook环境ä¸å®Œæˆï¼Œåœ¨Jupyter Notebook文件列表页é¢ï¼Œç‚¹å‡»å³ä¸Šè§’çš„\"New\"->\"Terminal\",进入Notebook环境所在终端,进入`work`目录,å¯ä»¥ä½¿ç”¨å¸¸ç”¨çš„linux shell命令,如`wget, gzip, tar, mkdir, mv`ç‰ï¼Œå®Œæˆæ•°æ®é›†å’Œè„šæœ¬çš„下载和准备。\n", + "> **æ示:** 上述数æ®é›†å’Œè„šæœ¬çš„准备工作也å¯ä»¥åœ¨Notebook环境ä¸å®Œæˆï¼Œåœ¨Jupyter Notebook文件列表页é¢ï¼Œç‚¹å‡»å³ä¸Šè§’çš„\"New\"->\"Terminal\",进入Notebook环境所在终端,进入`work`目录,å¯ä»¥ä½¿ç”¨å¸¸ç”¨çš„linux shell命令,如`wget, gzip, tar, mkdir, mv`ç‰ï¼Œå®Œæˆæ•°æ®é›†å’Œè„šæœ¬çš„下载和准备。\n", "\n", - "> **æ示:**请从上至下阅读æ示并执行代ç 框进行体验。代ç 框执行过程ä¸å·¦ä¾§å‘ˆçŽ°[\\*],代ç 框执行完毕åŽå·¦ä¾§å‘ˆçŽ°å¦‚[1],[2]ç‰ã€‚请ç‰ä¸Šä¸€ä¸ªä»£ç 框执行完毕åŽå†æ‰§è¡Œä¸‹ä¸€ä¸ªä»£ç 框。\n", + "> **æ示:** 请从上至下阅读æ示并执行代ç 框进行体验。代ç 框执行过程ä¸å·¦ä¾§å‘ˆçŽ°[\\*],代ç 框执行完毕åŽå·¦ä¾§å‘ˆçŽ°å¦‚[1],[2]ç‰ã€‚请ç‰ä¸Šä¸€ä¸ªä»£ç 框执行完毕åŽå†æ‰§è¡Œä¸‹ä¸€ä¸ªä»£ç 框。\n", "\n", "导入MindSpore模å—和辅助模å—:" ] @@ -221,6 +220,7 @@ "定义LeNet5模型,模型结构如下图所示。\n", "\n", "<img src=\"http://deeplearning.net/tutorial/_images/mylenet.png\">\n", + "\n", "[1] 图片æ¥æºäºŽhttp://deeplearning.net" ] }, @@ -294,7 +294,7 @@ "source": [ "使用éšæœºåˆå§‹åŒ–çš„LeNet模型对手写数å—进行识别,å¯ä»¥çœ‹åˆ°è¯†åˆ«ç»“果是éšæœºçš„(大多数情况下是错误的)。\n", "\n", - "> **æ示:**MindSporeæ供的基础数æ®ç±»åž‹ä¸ºTensor,Tensor支æŒnumpyã€listã€tuple作为输入,并将其转æ¢ä¸ºTensor类型。" + "> **æ示:** MindSporeæ供的基础数æ®ç±»åž‹ä¸ºTensor,Tensor支æŒnumpyã€listã€tuple作为输入,并将其转æ¢ä¸ºTensor类型。" ] }, { @@ -509,7 +509,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.7.5" + "version": "3.7.6" } }, "nbformat": 4, diff --git a/experiment_2/2-Save_And_Load_Model.ipynb b/experiment_2/2-Save_And_Load_Model.ipynb index 7cb3a14d1c74eb4cb327a0791544c0e28c7d1308..11086593d566627bed5c393c969775df12a18423 100644 --- a/experiment_2/2-Save_And_Load_Model.ipynb +++ b/experiment_2/2-Save_And_Load_Model.ipynb @@ -6,7 +6,6 @@ "source": [ "<h1 style=\"text-align:center\">è®ç»ƒæ—¶æ¨¡åž‹çš„ä¿å˜å’ŒåŠ è½½</h1>\n", "\n", - "[TOC]\n", "\n", "## 实验介ç»\n", "\n", @@ -36,7 +35,7 @@ "\n", "本实验需è¦ä½¿ç”¨åŽä¸ºäº‘OBSå˜å‚¨å®žéªŒè„šæœ¬å’Œæ•°æ®é›†ï¼Œå¯ä»¥å‚考[快速通过OBS控制å°ä¸Šä¼ 下载文件](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html)了解使用OBS创建桶ã€ä¸Šä¼ 文件ã€ä¸‹è½½æ–‡ä»¶çš„使用方法。\n", "\n", - "> **æ示:**åŽä¸ºäº‘新用户使用OBS时通常需è¦åˆ›å»ºå’Œé…置“访问密钥â€ï¼Œå¯ä»¥åœ¨ä½¿ç”¨OBSæ—¶æ ¹æ®æ示完æˆåˆ›å»ºå’Œé…置。也å¯ä»¥å‚考[获å–访问密钥并完æˆModelArts全局é…ç½®](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获å–并é…置访问密钥。\n", + "> **æ示:** åŽä¸ºäº‘新用户使用OBS时通常需è¦åˆ›å»ºå’Œé…置“访问密钥â€ï¼Œå¯ä»¥åœ¨ä½¿ç”¨OBSæ—¶æ ¹æ®æ示完æˆåˆ›å»ºå’Œé…置。也å¯ä»¥å‚考[获å–访问密钥并完æˆModelArts全局é…ç½®](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获å–并é…置访问密钥。\n", "\n", "创建OBS桶的å‚考é…置如下:\n", "\n", @@ -70,7 +69,7 @@ "将脚本和数æ®é›†ä¸Šä¼ 到OBS桶ä¸ï¼Œç»„织为如下形å¼ï¼š\n", "\n", "```\n", - "experiment_1\n", + "experiment_2\n", "├── MNIST\n", "│  ├── test\n", "│  │  ├── t10k-images-idx3-ubyte\n", @@ -184,6 +183,7 @@ "定义LeNet5模型,模型结构如下图所示。\n", "\n", "<img src=\"http://deeplearning.net/tutorial/_images/mylenet.png\">\n", + "\n", "[1] 图片æ¥æºäºŽhttp://deeplearning.net" ] }, @@ -513,8 +513,8 @@ "- 算法æ¥æºï¼šå¸¸ç”¨æ¡†æž¶->Ascend-Powered-Engine->MindSpore\n", "- 代ç 目录:选择上述新建的OBS桶ä¸çš„experiment_2目录\n", "- å¯åŠ¨æ–‡ä»¶ï¼šé€‰æ‹©ä¸Šè¿°æ–°å»ºçš„OBS桶ä¸çš„experiment_2目录下的`main.py`\n", - "- æ•°æ®æ¥æºï¼šæ•°æ®å˜å‚¨ä½ç½®->选择上述新建的OBS桶ä¸çš„experiment_1文件夹下的MNIST目录\n", - "- è®ç»ƒè¾“出ä½ç½®ï¼šé€‰æ‹©ä¸Šè¿°æ–°å»ºçš„OBS桶ä¸çš„experiment_1目录并在其ä¸åˆ›å»ºoutput目录\n", + "- æ•°æ®æ¥æºï¼šæ•°æ®å˜å‚¨ä½ç½®->选择上述新建的OBS桶ä¸çš„experiment_2文件夹下的MNIST目录\n", + "- è®ç»ƒè¾“出ä½ç½®ï¼šé€‰æ‹©ä¸Šè¿°æ–°å»ºçš„OBS桶ä¸çš„experiment_2目录并在其ä¸åˆ›å»ºoutput目录\n", "- 作业日志路径:åŒè®ç»ƒè¾“出ä½ç½®\n", "- è§„æ ¼ï¼šAscend:1*Ascend 910\n", "- 其他å‡ä¸ºé»˜è®¤\n", @@ -558,7 +558,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.7.5" + "version": "3.7.6" } }, "nbformat": 4, diff --git a/experiment_3/3-Computer_Vision.md b/experiment_3/3-Computer_Vision.md index 00309945f8c9a2b4e10aa09041f771f4c2aa26b2..4b98504d900220a4affb470091d13709ba837d28 100644 --- a/experiment_3/3-Computer_Vision.md +++ b/experiment_3/3-Computer_Vision.md @@ -1,6 +1,5 @@ <h1 style="text-align:center">计算机视觉应用</h1> -[TOC] ## å®žéªŒä»‹ç» @@ -30,7 +29,7 @@ 本实验需è¦ä½¿ç”¨åŽä¸ºäº‘OBSå˜å‚¨è„šæœ¬å’Œæ•°æ®é›†ï¼Œå¯ä»¥å‚考[快速通过OBS控制å°ä¸Šä¼ 下载文件](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html)了解使用OBS创建桶ã€ä¸Šä¼ 文件ã€ä¸‹è½½æ–‡ä»¶çš„使用方法。 -> **æ示:**åŽä¸ºäº‘新用户使用OBS时通常需è¦åˆ›å»ºå’Œé…置“访问密钥â€ï¼Œå¯ä»¥åœ¨ä½¿ç”¨OBSæ—¶æ ¹æ®æ示完æˆåˆ›å»ºå’Œé…置。也å¯ä»¥å‚考[获å–访问密钥并完æˆModelArts全局é…ç½®](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获å–并é…置访问密钥。 +> **æ示:** åŽä¸ºäº‘新用户使用OBS时通常需è¦åˆ›å»ºå’Œé…置“访问密钥â€ï¼Œå¯ä»¥åœ¨ä½¿ç”¨OBSæ—¶æ ¹æ®æ示完æˆåˆ›å»ºå’Œé…置。也å¯ä»¥å‚考[获å–访问密钥并完æˆModelArts全局é…ç½®](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获å–并é…置访问密钥。 创建OBS桶的å‚考é…置如下: diff --git a/experiment_4/4-Natural_Language_Processing.md b/experiment_4/4-Natural_Language_Processing.md index 5880d42dcd222253ad41df930163899bf3186395..da39971c7308a401c8378d36461a0a2dfdd56da4 100644 --- a/experiment_4/4-Natural_Language_Processing.md +++ b/experiment_4/4-Natural_Language_Processing.md @@ -1,6 +1,5 @@ <h1 style="text-align:center">自然è¯è¨€å¤„ç†åº”用</h1> -[TOC] ## å®žéªŒä»‹ç» @@ -30,7 +29,7 @@ 本实验需è¦ä½¿ç”¨åŽä¸ºäº‘OBSå˜å‚¨è„šæœ¬å’Œæ•°æ®é›†ï¼Œå¯ä»¥å‚考[快速通过OBS控制å°ä¸Šä¼ 下载文件](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html)了解使用OBS创建桶ã€ä¸Šä¼ 文件ã€ä¸‹è½½æ–‡ä»¶çš„使用方法。 -> **æ示:**åŽä¸ºäº‘新用户使用OBS时通常需è¦åˆ›å»ºå’Œé…置“访问密钥â€ï¼Œå¯ä»¥åœ¨ä½¿ç”¨OBSæ—¶æ ¹æ®æ示完æˆåˆ›å»ºå’Œé…置。也å¯ä»¥å‚考[获å–访问密钥并完æˆModelArts全局é…ç½®](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获å–并é…置访问密钥。 +> **æ示:** åŽä¸ºäº‘新用户使用OBS时通常需è¦åˆ›å»ºå’Œé…置“访问密钥â€ï¼Œå¯ä»¥åœ¨ä½¿ç”¨OBSæ—¶æ ¹æ®æ示完æˆåˆ›å»ºå’Œé…置。也å¯ä»¥å‚考[获å–访问密钥并完æˆModelArts全局é…ç½®](https://support.huaweicloud.com/prepare-modelarts/modelarts_08_0002.html)获å–并é…置访问密钥。 创建OBS桶的å‚考é…置如下: @@ -104,7 +103,8 @@ BERT预è®ç»ƒé˜¶æ®µåŒ…å«ä¸¤ä¸ªä»»åŠ¡ï¼ˆä¸¤ä¸ªè¾“出): - Maskè¯è¨€æ¨¡åž‹ï¼ˆMask LM):预测被掩盖掉(mask)的å•è¯ï¼› - NextSentence预测(NSP):判æ–å¥å对是å¦å…·æœ‰ä¸Šä¸‹æ–‡å…³ç³»ï¼Œå³å¥åB是å¦æ—¶å¥åA的下一å¥ã€‚ -### 代ç æ¢³ç† + +#### 代ç æ¢³ç† model_zoo:Bert_NEZHAä¸åŒ…å«ä¸¤ä¸ªæ¨¡å—: @@ -214,6 +214,7 @@ class BertModel(nn.Cell): `BertAttention`为Multi-Head Attention: ![Multi-Head Attention](https://pic3.zhimg.com/80/v2-58d60594bc3e9cbe47faec82ef29fd76_720w.jpg) + [4] 图片æ¥æºäºŽhttps://zhuanlan.zhihu.com/p/34781297 å’Œhttps://arxiv.org/pdf/1706.03762.pdf 创建è®ç»ƒä½œä¸šæ—¶ï¼Œè¿è¡Œå‚æ•°ä¼šé€šè¿‡è„šæœ¬ä¼ å‚çš„æ–¹å¼è¾“入给脚本代ç ,脚本必须解æžä¼ å‚æ‰èƒ½åœ¨ä»£ç ä¸ä½¿ç”¨ç›¸åº”å‚数。如data_urlå’Œtrain_url,分别对应数æ®å˜å‚¨è·¯å¾„(OBS路径)å’Œè®ç»ƒè¾“出路径(OBS路径)ã€‚è„šæœ¬å¯¹ä¼ å‚进行解æžåŽèµ‹å€¼åˆ°`args`å˜é‡é‡Œï¼Œåœ¨åŽç»ä»£ç 里å¯ä»¥ä½¿ç”¨ã€‚ @@ -304,7 +305,7 @@ class BertNERModel(nn.Cell): å¯ä»¥å‚考[使用常用框架è®ç»ƒæ¨¡åž‹](https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0238.html)æ¥åˆ›å»ºå¹¶å¯åŠ¨è®ç»ƒä½œä¸šã€‚ -### 代ç æ¢³ç† +#### 代ç æ¢³ç† åˆ›å»ºè®ç»ƒä½œä¸šçš„å‚考é…置: @@ -324,11 +325,11 @@ class BertNERModel(nn.Cell): 3. 点击è¿è¡Œä¸çš„è®ç»ƒä½œä¸šï¼Œåœ¨å±•å¼€çš„窗å£ä¸å¯ä»¥æŸ¥çœ‹ä½œä¸šé…置信æ¯ï¼Œä»¥åŠè®ç»ƒè¿‡ç¨‹ä¸çš„日志,日志会ä¸æ–刷新,ç‰è®ç»ƒä½œä¸šå®ŒæˆåŽä¹Ÿå¯ä»¥ä¸‹è½½æ—¥å¿—到本地进行查看; 4. 在è®ç»ƒæ—¥å¿—ä¸å¯ä»¥çœ‹åˆ°`epoch: 3, step: 10005, outputs are (1.4425085, False)`ç‰å—段,å³å¾®è°ƒè¿‡ç¨‹çš„输出; -## 验è¯BERT +### 验è¯BERT 在TNEWS验è¯é›†ä¸Šå¯¹å¾®è°ƒåŽçš„BERT模型åšéªŒè¯ï¼ˆevaluation)。 -### 代ç æ¢³ç† +#### 代ç æ¢³ç† éªŒè¯BERTä¾èµ–å¦‚ä¸‹å‡ ä¸ªæ¨¡å—: