Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
Laurence001
d2l-zh
提交
9877eda5
D
d2l-zh
项目概览
Laurence001
/
d2l-zh
与 Fork 源项目一致
从无法访问的项目Fork
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
d2l-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
提交
9877eda5
编写于
1月 01, 2021
作者:
X
xiaotinghe
提交者:
Aston Zhang
2月 17, 2021
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
ch7
上级
e14c0286
变更
2
展开全部
隐藏空白更改
内联
并排
Showing
2 changed file
with
62 addition
and
54 deletion
+62
-54
chapter_convolutional-modern/alexnet.md
chapter_convolutional-modern/alexnet.md
+44
-38
chapter_convolutional-modern/googlenet.md
chapter_convolutional-modern/googlenet.md
+18
-16
未找到文件。
chapter_convolutional-modern/alexnet.md
浏览文件 @
9877eda5
此差异已折叠。
点击以展开。
chapter_convolutional-modern/googlenet.md
浏览文件 @
9877eda5
# 含并行连结的网络(GoogLeNet)
:label:
`sec_googlenet`
在2014年的ImageNet图像识别挑战赛中,一个名叫
*GoogLeNet*
:cite:
`Szegedy.Liu.Jia.ea.2015`
的网络结构大放异彩。
GoogLeNet吸收了NiN中
串联网络的思想,并在此基础上做了
改进。
在2014年的ImageNet图像识别挑战赛中,一个名叫
GoogLeNet
:cite:
`Szegedy.Liu.Jia.ea.2015`
的网络结构大放异彩。
GoogLeNet吸收了NiN中
网络串联网络的思想,并在此基础上做了很大
改进。
这篇论文的一个重点是解决了什么样大小的卷积核最合适的问题。
毕竟,以前流行的网络使用小到 $1
\t
imes 1$ ,大到 $11
\t
imes 11$ 的卷积核。
本文的一个观点是,有时使用不同大小的卷积核组合是有利的。
在本节中,我们将介绍
一
个稍微简化的GoogLeNet版本:我们省略了一些为稳定训练而添加的特殊特性,但是现在有了更好的训练算法,这些特性不是必要的。
在本节中,我们将介绍个稍微简化的GoogLeNet版本:我们省略了一些为稳定训练而添加的特殊特性,但是现在有了更好的训练算法,这些特性不是必要的。
## Inception块
在GoogLeNet中,基本的卷积块被称为
*Inception块*
(Inception block)
。这很可能得名于电影《盗梦空间》(Inception),因为电影中的一句话“我们需要走得更深”(“We need to go deeper”
)。
在GoogLeNet中,基本的卷积块被称为
*Inception块*
(Inception block)
,很可能得名于电影《盗梦空间》(Inception
)。
![
Inception块的结构。
](
../img/inception.svg
)
:label:
`fig_inception`
...
...
@@ -19,8 +19,9 @@ GoogLeNet吸收了NiN中串联网络的思想,并在此基础上做了改进
如 :numref:
`fig_inception`
所示,Inception块由四条并行路径组成。
前三条路径使用窗口大小为 $1
\t
imes 1$、$3
\t
imes 3$ 和 $5
\t
imes 5$ 的卷积层,从不同空间大小中提取信息。
中间的两条路径在输入上执行 $1
\t
imes 1$ 卷积,以减少通道数,从而降低模型的复杂性。
第四条路径使用 $3
\t
imes 3$ 最大池化层,然后使用 $1
\t
imes 1$ 卷积层来改变通道数。
这四条路径都使用合适的填充来使输入与输出的高和宽一致,最后我们将每条线路的输出在通道维度上连结,并构成Inception块的输出。在Inception块中,通常调整的超参数是每层输出通道的数量。
第四条路径使用 $3
\t
imes 3$ 最大池化层,然后是 $1
\t
imes 1$ 卷积层来改变通道数。
这四条路径都使用合适的填充来使输入与输出的高和宽一致,最后我们将每条线路的输出在通道维度上连结,并构成Inception块的输出。初始块的通常调整的超参数是每层输出通道的数量。
在Inception块中,通常调整的超参数是每层输出通道的数量。
```
{.python .input}
from d2l import mxnet as d2l
...
...
@@ -121,19 +122,19 @@ class Inception(tf.keras.Model):
```
那么为什么GoogLeNet这个网络如此有效呢?
首先我们考虑一下滤波器(filter)的组合,
它们可以用各种滤波器尺寸探索图像,这意味着不同大小的滤波器可以有效地识别不同范围的图像
细节。
首先我们考虑一下滤波器(filter)的组合,
他们可以探索各种滤波器尺寸的图像,这意味着不同大小的滤波器可以有效地识别不同范围的
细节。
同时,我们可以为不同的滤波器分配不同数量的参数。
## GoogLeNet 模型
如 :numref:
`fig_inception_full`
所示,GoogLeNet 一共使用 9 个Inception块和全局平均池化层的堆叠来生成其估计值。Inception块之间的最大池化层可降低维度。
第一个模块类似于 AlexNet 和 LeNet,Inception块的栈从VGG继承,全局平均池化层避免
了
在最后使用全连接层。
第一个模块类似于 AlexNet 和 LeNet,Inception块的栈从VGG继承,全局平均池化层避免在最后使用全连接层。
![
GoogLeNet结构。
](
../img/inception-full.svg
)
:label:
`fig_inception_full`
现在,我们逐一实现GoogLeNet的每个
模块。第一个模块使用 64 个通道、 $7
\t
imes 7$ 卷积层。
我们现在可以一块一块地实现GoogLeNet的
模块。第一个模块使用 64 个通道、 $7
\t
imes 7$ 卷积层。
```
{.python .input}
b1 = nn.Sequential()
...
...
@@ -251,7 +252,7 @@ def b4():
```
第五模块包含输出通道数为 $256+320+128+128=832$ 和 $384+384+128+128=1024$ 的两个Inception块。
其中每条路径通道数的分配思路和第三、第四模块中的一致,只是在具体数值上有所不同。
其中每条路径
的
通道数的分配思路和第三、第四模块中的一致,只是在具体数值上有所不同。
需要注意的是,第五模块的后面紧跟输出层,该模块同 NiN 一样使用全局平均池化层,将每个通道的高和宽变成1。
最后我们将输出变成二维数组,再接上一个输出个数为标签类别数的全连接层。
...
...
@@ -293,7 +294,8 @@ def net():
```
GoogLeNet 模型的计算复杂,而且不如 VGG 那样便于修改通道数。
为了在Fashion-MNIST上有一个合理的训练时间,我们将输入的高和宽从 224 降到 96,这简化了计算。下面演示各个模块输出的形状变化。
本节里我们将输入的高和宽从 224 降到 96 来简化计算。下
面演示各个模块之间的输出的形状变化。
```
{.python .input}
X = np.random.uniform(size=(1, 1, 96, 96))
...
...
@@ -319,9 +321,9 @@ for layer in net().layers:
print(layer.__class__.__name__, 'output shape:\t', X.shape)
```
## 训练
## 训练
模型
和以前一样,我们使用 Fashion-MNIST 数据集来训练我们的模型。在训练
之前,我们将
图片转换为 $96
\t
imes 96$ 分辨率。
和以前一样,我们使用 Fashion-MNIST 数据集来训练我们的模型。在训练
过程之前,我们将其
图片转换为 $96
\t
imes 96$ 分辨率。
```
{.python .input}
#@tab all
...
...
@@ -334,19 +336,19 @@ d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr)
*
Inception 块相当于一个有4条路径的子网络。它通过不同窗口形状的卷积层和最大池化层来并行抽取信息,并使用 $1×1$ 卷积层减少每像素级别上的通道维数从而降低模型复杂度。
*
GoogLeNet将多个设计精细的Inception块与其他层(卷积层、全连接层)串联起来。其中Inception块的通道数分配之比是在
ImageNet 数据集上通过大量的实验得来的。
*
GoogLeNet将多个设计精细的 Inception 块和其他层连接起来。其中 Inception 块的通道数分配之比是在
ImageNet 数据集上通过大量的实验得来的。
*
GoogLeNet 和它的后继者们一度是 ImageNet 上最有效的模型之一:它以较低的计算复杂度提供了类似的测试精度。
## 练习
1.
GoogLeNet 有数个后续版本。尝试实现并运行它们,然后观察实验结果。这些后续版本包括:
*
添加批量归一化层 :cite:
`Ioffe.Szegedy.2015`
(batch normalization),在 :numref:
`sec_batch_norm`
中
将介绍)。
*
添加批量归一化层 :cite:
`Ioffe.Szegedy.2015`
,(下一节
将介绍)。
*
对 Inception 模块进行调整。
*
使用标签平滑(label smoothing)进行模型正则化 :cite:
`Szegedy.Vanhoucke.Ioffe.ea.2016`
。
*
加入残差连接 :cite:
`Szegedy.Ioffe.Vanhoucke.ea.2017`
,(:numref:
`sec_resnet`
一节将介绍)。
1.
使用 GoogLeNet 的最小图像大小是多少?
1.
将 AlexNet、VGG 和 NiN 的模型参数大小与 GoogLeNet 进行比较。后两个网络
结
构是如何显著减少模型参数大小的?
1.
将 AlexNet、VGG 和 NiN 的模型参数大小与 GoogLeNet 进行比较。后两个网络
架
构是如何显著减少模型参数大小的?
:begin_tab:
`mxnet`
[
Discussions
](
https://discuss.d2l.ai/t/81
)
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录