From f2aa99198852a8ea47b20721ae0d96c37c6d16cb Mon Sep 17 00:00:00 2001 From: littletomatodonkey Date: Wed, 15 Apr 2020 12:54:45 +0000 Subject: [PATCH] fix inception doc --- docs/zh_CN/models/HRNet.md | 4 ++-- docs/zh_CN/models/Inception.md | 11 +++++++---- docs/zh_CN/models/Others.md | 9 ++++----- 3 files changed, 13 insertions(+), 11 deletions(-) diff --git a/docs/zh_CN/models/HRNet.md b/docs/zh_CN/models/HRNet.md index 39d791bb..c33fb0fa 100644 --- a/docs/zh_CN/models/HRNet.md +++ b/docs/zh_CN/models/HRNet.md @@ -1,7 +1,7 @@ # HRNet系列 ## 概述 -HRNet是2019年由微软亚洲研究院提出的一种全新的神经网络，不同于以往的卷积神经网络，该网络全程都可以保持高分辨率，在网络深层无需恢复高分辨率特征，所以高分辨率的特征也不会丢失。在网络不同的阶段，都可以融合不同scale的特征，从而可以获得丰富的高分辨率表征。因此，预测的关键点热图可能更准确，在空间上也更精确。该网络可同时应用于分类、检测、分割、关键点等任务中。由于其全程保持高分辨率，所以在检测、分割、关键点任务中，表现尤为优异。 +HRNet是2019年由微软亚洲研究院提出的一种全新的神经网络，不同于以往的卷积神经网络，该网络在网络深层仍然可以保持高分辨率，因此预测的关键点热图更准确，在空间上也更精确。此外，该网络在对分辨率敏感的其他视觉任务中，如检测、分割等，表现尤为优异。 该系列模型的FLOPS、参数量以及FP32预测耗时如下图所示。 @@ -10,7 +10,7 @@ HRNet是2019年由微软亚洲研究院提出的一种全新的神经网络， ![](../../images/models/HRNet.png.params.png) ![](../../images/models/HRNet.png.fp32.png) -目前paddleclas开源的这类模型的预训练模型一共有7个，其指标如图所示，除了HRNet_W48_C,其他模型的精度指标均符合预期。HRNet_W48_C指标精度异常的原因可能是因为网络训练的正常波动。 +目前PaddleClas开源的这类模型的预训练模型一共有7个，其指标如图所示，其中HRNet_W48_C指标精度异常的原因可能是因为网络训练的正常波动。 ## 精度、FLOPS和参数量 diff --git a/docs/zh_CN/models/Inception.md b/docs/zh_CN/models/Inception.md index 945b2c89..114002b1 100644 --- a/docs/zh_CN/models/Inception.md +++ b/docs/zh_CN/models/Inception.md @@ -1,11 +1,13 @@ # Inception系列 ## 概述 -GoogleNet是2014年由Google设计的一种新的神经网络结构，其与VGG网络并列成为当年ImageNet挑战赛的双雄。GoogleNet设计了一种新的Inception结构，在网络中堆叠该结构使得网络层数达到了22层，这也是卷积网络首次超过20层的标志。由于在Inception结构中使用了1x1的卷积用于通道数降维，并且使用了Global-pooling代替传统的多fc层加工特征的方式，最终的GoogleNet网络的参数量和计算量远小于VGG网络，成为当时神经网络设计的一道亮丽风景线。 -Xception 是 Google 继 Inception 后提出的对 Inception-v3 的另一种改进。在Xception中，作者使用了深度可分离卷积代替了传统的卷积操作，该操作大大节省了网络的参数量和计算量。最终相比InceptionV3，Xception的Flops大幅下降，精度反而有所提升。在DeeplabV3+中，作者将Xception做了进一步的改进，同时增加了Xception的层数，设计出了Xception65和Xception71的网络。 +GoogLeNet是2014年由Google设计的一种新的神经网络结构，其与VGG网络并列成为当年ImageNet挑战赛的双雄。GoogLeNet首次引入Inception结构，在网络中堆叠该结构使得网络层数达到了22层，这也是卷积网络首次超过20层的标志。由于在Inception结构中使用了1x1的卷积用于通道数降维，并且使用了Global-pooling代替传统的多fc层加工特征的方式，最终的GoogLeNet网络的FLOPS和参数量远小于VGG网络，成为当时神经网络设计的一道亮丽风景线。 + +Xception 是 Google 继 Inception 后提出的对 InceptionV3 的另一种改进。在Xception中，作者使用了深度可分离卷积代替了传统的卷积操作，该操作大大节省了网络的FLOPS和参数量，但是精度反而有所提升。在DeeplabV3+中，作者将Xception做了进一步的改进，同时增加了Xception的层数，设计出了Xception65和Xception71的网络。 + +InceptionV4是2016年由Google设计的新的神经网络，当时残差结构风靡一时，但是作者认为仅使用Inception 结构也可以达到很高的性能。InceptionV4使用了更多的Inception module，在ImageNet上的精度再创新高。 -InceptionV4是2016年由Google设计的新的神经网络，作者认为Inception 结构可以用很低的计算成本达到很高的性能。而在传统的网络架构中引入残差结构效果也非常好。所以研究者将 Inception 结构和残差结构结合起来做了广泛的实验。最终，研究者通过实验明确地证实了，结合残差连接可以显著加速 Inception 的训练。也有一些证据表明残差 Inception 网络在相近的成本下略微超过没有残差连接的 Inception 网络。最终作者设计出的InceptionV4网络是包含了多个不同Inception块的模型，其在ImageNet上创造了新的精度。 该系列模型的FLOPS、参数量以及FP32预测耗时如下图所示。 @@ -15,7 +17,8 @@ InceptionV4是2016年由Google设计的新的神经网络，作者认为Inceptio ![](../../images/models/Inception.png.fp32.png) -上图反映了Xception系列和InceptionV4的精度和其他指标的关系，除了参数量外，InceptionV4模型依然比较有竞争力。在v100,FP16的情形下，InceptionV4的推理速度更具有优势。 +上图反映了Xception系列和InceptionV4的精度和其他指标的关系。其中Xception_deeplab与论文结构保持一致，Xception是PaddleClas的改进模型，在预测速度基本不变的情况下，精度提升约0.6%。 + ## 精度、FLOPS和参数量 diff --git a/docs/zh_CN/models/Others.md b/docs/zh_CN/models/Others.md index 37e095fd..35cabf68 100644 --- a/docs/zh_CN/models/Others.md +++ b/docs/zh_CN/models/Others.md @@ -1,14 +1,13 @@ # 其他模型 ## 概述 -2012年，Alex等人提出的AlexNet网络在ImageNet大赛上以远超第二名的成绩夺冠，卷积神经网络乃至深度学习引起了广泛的关注。AlexNet使用relu作为CNN的激活函数，解决了sigmoid在网络较深时的梯度弥散问题。训练时使用Dropout随机丢掉一部分神经元，避免了模型过拟合。网络中使用重叠的最大池化代替了此前CNN中普遍使用的平均池化，使用最大池化可以避免平均池化的模糊效果，同时重叠效果提升了特征的丰富性。从某种意义上说，AlexNet引爆了神经网络的研究与应用热潮。 +2012年，Alex等人提出的AlexNet网络在ImageNet大赛上以远超第二名的成绩夺冠，卷积神经网络乃至深度学习引起了广泛的关注。AlexNet使用relu作为CNN的激活函数，解决了sigmoid在网络较深时的梯度弥散问题。训练时使用Dropout随机丢掉一部分神经元，避免了模型过拟合。网络中使用重叠的最大池化代替了此前CNN中普遍使用的平均池化，避免了平均池化的模糊效果，提升了特征的丰富性。从某种意义上说，AlexNet引爆了神经网络的研究与应用热潮。 -SqueezeNet在ImageNet-1k上实现了与AlexNet相同精度，但只用了1/50的参数量。该网络的核心是Fire模块，Fire模块通过使用1x1的卷积实现通道降维，从而大大节省了参数量。作者通过大量堆叠Fire模块组成了SqueezeNet。 +SqueezeNet在ImageNet-1k上实现了与AlexNet相同的精度，但只用了1/50的参数量。该网络的核心是Fire模块，Fire模块通过使用1x1的卷积实现通道降维，从而大大节省了参数量。作者通过大量堆叠Fire模块组成了SqueezeNet。 -VGG由牛津大学计算机视觉组和DeepMind公司研究员一起研发的卷积神经网络。该网络探索了卷积神经网络的深度和其性能之间的关系，通过反复的堆叠3x3的小型卷积核和2x2的最大池化层，成功的构建了多层卷积神经网络并可以获得不错的收敛精度。最终，VGG获得了ILSVRC 2014比赛分类项目的亚军和定位项目的冠军。到目前为止，VGG依然是提取图像的特征的典型网络之一。 - -DarkNet53是YOLO-V3的作者设计的用于目标检测的backbone，该网络基本由1*1与3*3卷积构成，共53层，取名为DarkNet53。相比DarkNet19，该网络的精度提升了非常多，并且其比ResNet-101或ResNet-152更高效。 +VGG由牛津大学计算机视觉组和DeepMind公司研究员一起研发的卷积神经网络。该网络探索了卷积神经网络的深度和其性能之间的关系，通过反复的堆叠3x3的小型卷积核和2x2的最大池化层，成功的构建了多层卷积神经网络并取得了不错的收敛精度。最终，VGG获得了ILSVRC 2014比赛分类项目的亚军和定位项目的冠军。 +DarkNet53是YOLO作者在论文设计的用于目标检测的backbone，该网络基本由1x1与3x3卷积构成，共53层，取名为DarkNet53。 ## 精度、FLOPS和参数量 -- GitLab