Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleClas
提交
26f20d5a
P
PaddleClas
项目概览
PaddlePaddle
/
PaddleClas
大约 1 年 前同步成功
通知
115
Star
4999
Fork
1114
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
19
列表
看板
标记
里程碑
合并请求
6
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleClas
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
19
Issue
19
列表
看板
标记
里程碑
合并请求
6
合并请求
6
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
26f20d5a
编写于
12月 21, 2021
作者:
S
sibo2rr
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
modify title
上级
fbbff9d4
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
1 addition
and
2 deletion
+1
-2
docs/zh_CN/faq_series/faq_2020_s1.md
docs/zh_CN/faq_series/faq_2020_s1.md
+1
-2
未找到文件。
docs/zh_CN/faq_series/faq_2020_s1.md
浏览文件 @
26f20d5a
...
@@ -118,7 +118,7 @@ ResNet 系列模型中,相比于其他模型,ResNet_vd 模型在预测速度
...
@@ -118,7 +118,7 @@ ResNet 系列模型中,相比于其他模型,ResNet_vd 模型在预测速度
*
对于一个 batch 图像的增广,可以参考
[
基于 batch 数据的数据增广脚本
](
../../../ppcls/data/preprocess/batch_ops
)
,参考
`MixupOperator`
或者
`CutmixOperator`
等数据算子的写法,创建一个新的类,然后在
`__call__`
中,实现对应的增广方法即可。
*
对于一个 batch 图像的增广,可以参考
[
基于 batch 数据的数据增广脚本
](
../../../ppcls/data/preprocess/batch_ops
)
,参考
`MixupOperator`
或者
`CutmixOperator`
等数据算子的写法,创建一个新的类,然后在
`__call__`
中,实现对应的增广方法即可。
## Q3.5: 怎么进一步加速模型训练过程呢?
##
#
Q3.5: 怎么进一步加速模型训练过程呢?
**A**
:
**A**
:
...
@@ -170,7 +170,6 @@ AMP:
...
@@ -170,7 +170,6 @@ AMP:
![](
../../images/faq/SE_structure.png
)
![](
../../images/faq/SE_structure.png
)
**A**
:
**A**
:
*
*SE*
结构具体如上图所示,首先,
*Ftr*
表示常规的卷积操作,
*X*
和
*U*
则是
*Ftr*
的输入与输出的特征图,在得到特征图
*U*
后,使用
*Fsq*
和
*Fex*
操作求得
*scale*
向量,
*scale*
向量维度为
*C*
,与
*U*
通道数相同,因此可以通过乘积的方式作用到
*U*
上,进而得到
*X~*
。
*
*SE*
结构具体如上图所示,首先,
*Ftr*
表示常规的卷积操作,
*X*
和
*U*
则是
*Ftr*
的输入与输出的特征图,在得到特征图
*U*
后,使用
*Fsq*
和
*Fex*
操作求得
*scale*
向量,
*scale*
向量维度为
*C*
,与
*U*
通道数相同,因此可以通过乘积的方式作用到
*U*
上,进而得到
*X~*
。
*
具体地,
*Fsq*
为
*Global Average Pooling*
操作,
*SENet*
作者将其称之为
*Squeeze*
,因为该操作可以将
*U*
从
*C × H × W*
压缩到
*C × 1 × 1*
,对
*Fsq*
的输出再做
*Fex*
操作。
*
具体地,
*Fsq*
为
*Global Average Pooling*
操作,
*SENet*
作者将其称之为
*Squeeze*
,因为该操作可以将
*U*
从
*C × H × W*
压缩到
*C × 1 × 1*
,对
*Fsq*
的输出再做
*Fex*
操作。
*
*Fex*
操作表示两次全连接,作者将该操作称为
*Excitation*
。其中第一次全连接将向量的维度从
*1 × 1 × C*
压缩到
*1 × 1 × C/r*
,然后使用
*RELU*
,再通过第二次全连接将向量的维度恢复到
*C*
,这样操作的目的是为了减小计算量,
*SENet*
作者通过实验得出结论:在
*r=16*
时可以获得增益与计算量之间的平衡。
*
*Fex*
操作表示两次全连接,作者将该操作称为
*Excitation*
。其中第一次全连接将向量的维度从
*1 × 1 × C*
压缩到
*1 × 1 × C/r*
,然后使用
*RELU*
,再通过第二次全连接将向量的维度恢复到
*C*
,这样操作的目的是为了减小计算量,
*SENet*
作者通过实验得出结论:在
*r=16*
时可以获得增益与计算量之间的平衡。
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录