提交 4d3bd28b 编写于 作者: littletomatodonkey's avatar littletomatodonkey

add model doc

上级 9adfb3cb
# DPN与DenseNet系列
## 概述
正在持续更新中......
DenseNet是2017年CVPR best paper提出的一种新的网络结构,该网络设计了一种新的跨层连接的block,即dense-block。相比ResNet中的bottleneck,dense-block设计了一个更激进的密集连接机制,即互相连接所有的层,每个层都会接受其前面所有层作为其额外的输入。DenseNet将所有的dense-block堆叠,组合成了一个密集连接型网络。由于密集连接方式,DenseNet提升了梯度的反向传播,使得网络更容易训练。
DPN的全称是Dual Path Networks,即双通道网络。该网络是由DenseNet和ResNeXt结合的一个网络,其证明了DenseNet能从靠前的层级中提取到新的特征,而ResNeXt本质上是对之前层级中已提取特征的复用。作者进一步分析发现,ResNeXt对特征有高复用率,但冗余度低,DenseNet能创造新特征,但冗余度高。结合二者结构的优势,作者设计了DPN网络。最终DPN网络在同样Params和Flops下,取得了比ResNeXt与DenseNet更好的结果。
该系列模型的FLOPS、参数量以及FP32预测耗时如下图所示。
......@@ -11,6 +12,9 @@
![](../../images/models/DPN.png.fp32.png)
目前paddleclas开源的这两类模型的预训练模型一共有10个,其指标如图所示,可以看到,在Flops和Params下,相比DenseNet,DPN拥有更高的精度。但是由于DPN有更多的分支,所以其推理速度要慢于DenseNet。由于DenseNet264的网络层数最深,所以该网络是DenseNet系列模型中参数量最大的网络,DenseNet161的网络的宽度最大,导致其是该系列中网络中计算量最大、精度最高的网络。从推理速度来看,计算量大且精度高的的DenseNet161比DenseNet264具有更快的速度,所以其比DenseNet264具有更大的优势。
DPN系列网络的曲线图中规中矩,模型的参数量和计算量越大,模型的精度越高。其中,由于DPN107的网络宽度最大,所以其是该系列网络中参数量与计算量最大的网络。
所有模型在预测时,图像的crop_size设置为224,resize_short_size设置为256。
## 精度、FLOPS和参数量
......
# HRNet系列
## 概述
正在持续更新中......
HRNet是2019年由微软亚洲研究院提出的一种全新的神经网络,不同于以往的卷积神经网络,该网络全程都可以保持高分辨率,在网络深层无需恢复高分辨率特征,所以高分辨率的特征也不会丢失。在网络不同的阶段,都可以融合不同scale的特征,从而可以获得丰富的高分辨率表征。因此,预测的关键点热图可能更准确,在空间上也更精确。该网络可同时应用于分类、检测、分割、关键点等任务中。由于其全程保持高分辨率,所以在检测、分割、关键点任务中,表现尤为优异。
该系列模型的FLOPS、参数量以及FP32预测耗时如下图所示。
......@@ -10,6 +10,7 @@
![](../../images/models/HRNet.png.params.png)
![](../../images/models/HRNet.png.fp32.png)
目前paddleclas开源的这类模型的预训练模型一共有7个,其指标如图所示,除了HRNet_W48_C,其他模型的精度指标均符合预期。HRNet_W48_C指标精度异常的原因可能是因为网络训练的正常波动。
## 精度、FLOPS和参数量
......
# Inception系列
## 概述
正在持续更新中......
GoogleNet是2014年由Google设计的一种新的神经网络结构,其与VGG网络并列成为当年ImageNet挑战赛的双雄。GoogleNet设计了一种新的Inception结构,在网络中堆叠该结构使得网络层数达到了22层,这也是卷积网络首次超过20层的标志。由于在Inception结构中使用了1x1的卷积用于通道数降维,并且使用了Global-pooling代替传统的多fc层加工特征的方式,最终的GoogleNet网络的参数量和计算量远小于VGG网络,成为当时神经网络设计的一道亮丽风景线。
Xception 是 Google 继 Inception 后提出的对 Inception-v3 的另一种改进。在Xception中,作者使用了深度可分离卷积代替了传统的卷积操作,该操作大大节省了网络的参数量和计算量。最终相比InceptionV3,Xception的Flops大幅下降,精度反而有所提升。在DeeplabV3+中,作者将Xception做了进一步的改进,同时增加了Xception的层数,设计出了Xception65和Xception71的网络。
InceptionV4是2016年由Google设计的新的神经网络,作者认为Inception 结构可以用很低的计算成本达到很高的性能。而在传统的网络架构中引入残差结构效果也非常好。所以研究者将 Inception 结构和残差结构结合起来做了广泛的实验。最终,研究者通过实验明确地证实了,结合残差连接可以显著加速 Inception 的训练。也有一些证据表明残差 Inception 网络在相近的成本下略微超过没有残差连接的 Inception 网络。最终作者设计出的InceptionV4网络是包含了多个不同Inception块的模型,其在ImageNet上创造了新的精度。
该系列模型的FLOPS、参数量以及FP32预测耗时如下图所示。
......@@ -11,6 +15,8 @@
![](../../images/models/Inception.png.fp32.png)
上图反映了Xception系列和InceptionV4的精度和其他指标的关系,除了参数量外,InceptionV4模型依然比较有竞争力。在v100,FP16的情形下,InceptionV4的推理速度更具有优势。
## 精度、FLOPS和参数量
......
# 其他模型
## 概述
正在持续更新中......
2012年,Alex等人提出的AlexNet网络在ImageNet大赛上以远超第二名的成绩夺冠,卷积神经网络乃至深度学习引起了广泛的关注。AlexNet使用relu作为CNN的激活函数,解决了sigmoid在网络较深时的梯度弥散问题。训练时使用Dropout随机丢掉一部分神经元,避免了模型过拟合。网络中使用重叠的最大池化代替了此前CNN中普遍使用的平均池化,使用最大池化可以避免平均池化的模糊效果,同时重叠效果提升了特征的丰富性。从某种意义上说,AlexNet引爆了神经网络的研究与应用热潮。
SqueezeNet在ImageNet-1k上实现了与AlexNet相同精度,但只用了1/50的参数量。该网络的核心是Fire模块,Fire模块通过使用1x1的卷积实现通道降维,从而大大节省了参数量。作者通过大量堆叠Fire模块组成了SqueezeNet。
VGG由牛津大学计算机视觉组和DeepMind公司研究员一起研发的卷积神经网络。该网络探索了卷积神经网络的深度和其性能之间的关系,通过反复的堆叠3x3的小型卷积核和2x2的最大池化层,成功的构建了多层卷积神经网络并可以获得不错的收敛精度。最终,VGG获得了ILSVRC 2014比赛分类项目的亚军和定位项目的冠军。到目前为止,VGG依然是提取图像的特征的典型网络之一。
DarkNet53是YOLO-V3的作者设计的用于目标检测的backbone,该网络基本由1*1与3*3卷积构成,共53层,取名为DarkNet53。相比DarkNet19,该网络的精度提升了非常多,并且其比ResNet-101或ResNet-152更高效。
## 精度、FLOPS和参数量
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册