Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleClas
提交
0bc384b7
P
PaddleClas
项目概览
PaddlePaddle
/
PaddleClas
接近 2 年 前同步成功
通知
116
Star
4999
Fork
1114
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
19
列表
看板
标记
里程碑
合并请求
6
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleClas
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
19
Issue
19
列表
看板
标记
里程碑
合并请求
6
合并请求
6
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
0bc384b7
编写于
4月 15, 2020
作者:
littletomatodonkey
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update doc
上级
e705eaaa
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
5 addition
and
5 deletion
+5
-5
docs/zh_CN/application/transfer_learning.md
docs/zh_CN/application/transfer_learning.md
+5
-5
未找到文件。
docs/zh_CN/application/transfer_learning.md
浏览文件 @
0bc384b7
...
@@ -4,9 +4,9 @@
...
@@ -4,9 +4,9 @@
## 一、 超参搜索
## 一、 超参搜索
ImageNet 作为业界常用的图像分类数据被大家广泛使用,已经总结出一系列经验性的超参,使用这些超参往往能够得到不错的训练精度,而这些经验性的参数在迁移到自己
地业务中时,往往效果不佳。为了获得更好的模型,PaddleClas提供了两种常用的超参搜索方法
。
ImageNet 作为业界常用的图像分类数据被大家广泛使用,已经总结出一系列经验性的超参,使用这些超参往往能够得到不错的训练精度,而这些经验性的参数在迁移到自己
的业务中时,有时效果不佳。有两种常用的超参搜索方法可以用于获得更好的模型超参
。
### 1.1
Grid Search
### 1.1
网格搜索
网格搜索,即穷举搜索,通过查找搜索空间内所有的点,确定最优值。方法简单有效,但当搜索空间较大时,需要消耗大量的计算资源。
网格搜索,即穷举搜索,通过查找搜索空间内所有的点,确定最优值。方法简单有效,但当搜索空间较大时,需要消耗大量的计算资源。
...
@@ -36,7 +36,7 @@ Label smoothing: [False, True]
...
@@ -36,7 +36,7 @@ Label smoothing: [False, True]
Mixup: [False, True]
Mixup: [False, True]
```
```
网格搜索的搜索次数为196次,而贝叶斯搜索通过设置最大迭代次数(
`max_iter`
)和是否重复搜索(
`de_duplication`
)来确定搜索次数。我们设计了系列实验,baseline为ImageNet1k校验集Top1 Acc为79.12%的ResNet50_vd预训练模型固定超参,在新数据集上finetune得到的模型。下表给出了固定参数、网格搜索以及贝叶斯搜索的精度与搜索次数对比。
网格搜索的搜索次数为196次,而贝叶斯搜索通过设置最大迭代次数(
`max_iter`
)和是否重复搜索(
`de_duplication`
)来确定搜索次数。我们设计了系列实验,baseline为ImageNet1k校验集Top1 Acc为79.12%的ResNet50_vd预训练模型
,并
固定超参,在新数据集上finetune得到的模型。下表给出了固定参数、网格搜索以及贝叶斯搜索的精度与搜索次数对比。
-
精度与搜索次数对比:
-
精度与搜索次数对比:
...
@@ -59,7 +59,7 @@ Mixup: [False, True]
...
@@ -59,7 +59,7 @@ Mixup: [False, True]
在实际应用中,由于训练数据的匮乏,往往将ImageNet1k数据集训练的分类模型作为预训练模型,进行图像分类的迁移学习。为了进一步助力解决实际问题,基于ResNet50_vd, 百度开源了自研的大规模分类预训练模型,其中训练数据为10万个类别,4300万张图片。
在实际应用中,由于训练数据的匮乏,往往将ImageNet1k数据集训练的分类模型作为预训练模型,进行图像分类的迁移学习。为了进一步助力解决实际问题,基于ResNet50_vd, 百度开源了自研的大规模分类预训练模型,其中训练数据为10万个类别,4300万张图片。
我们在
5
个自有采集的数据集上进行迁移学习实验,采用一组固定参数以及网格搜索方式,其中训练轮数设置为20epochs,选用ResNet50_vd模型,ImageNet预训练精度为79.12%。实验数据集参数以及模型精度的对比结果如下:
我们在
6
个自有采集的数据集上进行迁移学习实验,采用一组固定参数以及网格搜索方式,其中训练轮数设置为20epochs,选用ResNet50_vd模型,ImageNet预训练精度为79.12%。实验数据集参数以及模型精度的对比结果如下:
固定参数:
固定参数:
...
@@ -76,7 +76,7 @@ Mixup: [False, True]
...
@@ -76,7 +76,7 @@ Mixup: [False, True]
| 椅子 | class:5
<br
/>
train:169
<br
/>
valid:78 | 0.8557/0.9688 | 0.9077/0.9792 |
| 椅子 | class:5
<br
/>
train:169
<br
/>
valid:78 | 0.8557/0.9688 | 0.9077/0.9792 |
| 地质 | class:4
<br
/>
train:671
<br
/>
valid:296 | 0.5719/0.8094 | 0.6781/0.8219 |
| 地质 | class:4
<br
/>
train:671
<br
/>
valid:296 | 0.5719/0.8094 | 0.6781/0.8219 |
-
通过上述的实验验证了当使用一组固定参数时,相比于ImageNet预训练模型,使用大规模分类模型作为预训练模型在大多数情况下能够提升
迁移学习的精度
,通过参数搜索可以进一步提升精度。
-
通过上述的实验验证了当使用一组固定参数时,相比于ImageNet预训练模型,使用大规模分类模型作为预训练模型在大多数情况下能够提升
模型在新的数据集上得效果
,通过参数搜索可以进一步提升精度。
## 三、图像分类迁移学习实战
## 三、图像分类迁移学习实战
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录