Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleClas
提交
8f7b12f1
P
PaddleClas
项目概览
PaddlePaddle
/
PaddleClas
大约 1 年 前同步成功
通知
115
Star
4999
Fork
1114
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
19
列表
看板
标记
里程碑
合并请求
6
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleClas
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
19
Issue
19
列表
看板
标记
里程碑
合并请求
6
合并请求
6
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
8f7b12f1
编写于
9月 20, 2022
作者:
G
gaotingquan
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
docs: fix the invalid link, test=document_fix
上级
ec610d66
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
3 addition
and
3 deletion
+3
-3
docs/zh_CN/training/advanced/ssld.md
docs/zh_CN/training/advanced/ssld.md
+3
-3
未找到文件。
docs/zh_CN/training/advanced/ssld.md
浏览文件 @
8f7b12f1
...
...
@@ -26,7 +26,7 @@
PaddleClas 融合已有的知识蒸馏方法 [2,3],提供了一种简单的半监督标签知识蒸馏方案(SSLD,Simple Semi-supervised Label Distillation),基于 ImageNet1k 分类数据集,在 ResNet_vd 以及 MobileNet 系列上的精度均有超过 3% 的绝对精度提升,具体指标如下图所示。
<div
align=
"center"
>
<img
src=
"../../images/distillation/distillation_perform_s.jpg"
width =
"800"
/>
<img
src=
"../../
../
images/distillation/distillation_perform_s.jpg"
width =
"800"
/>
</div>
<a
name=
"1.2"
></a>
...
...
@@ -36,7 +36,7 @@ PaddleClas 融合已有的知识蒸馏方法 [2,3],提供了一种简单的半
SSLD 的流程图如下图所示。
<div
align=
"center"
>
<img
src=
"../../images/distillation/ppcls_distillation.png"
width =
"800"
/>
<img
src=
"../../
../
images/distillation/ppcls_distillation.png"
width =
"800"
/>
</div>
首先,我们从 ImageNet22k 中挖掘出了近 400 万张图片,同时与 ImageNet-1k 训练集整合在一起,得到了一个新的包含 500 万张图片的数据集。然后,我们将学生模型与教师模型组合成一个新的网络,该网络分别输出学生模型和教师模型的预测分布,与此同时,固定教师模型整个网络的梯度,而学生模型可以做正常的反向传播。最后,我们将两个模型的 logits 经过 softmax 激活函数转换为 soft label,并将二者的 soft label 做 JS 散度作为损失函数,用于蒸馏模型训练。
...
...
@@ -64,7 +64,7 @@ SSLD 蒸馏方案的一大特色就是无需使用图像的真值标签,因此
(1)训练集去重。我们首先基于 SIFT 特征相似度匹配的方式对 ImageNet22k 数据集与 ImageNet1k 验证集进行去重,防止添加的 ImageNet22k 训练集中包含 ImageNet1k 验证集图像,最终去除了 4511 张相似图片。部分过滤的相似图片如下所示。
<div
align=
"center"
>
<img
src=
"../../images/distillation/22k_1k_val_compare_w_sift.png"
width =
"600"
/>
<img
src=
"../../
../
images/distillation/22k_1k_val_compare_w_sift.png"
width =
"600"
/>
</div>
(2)大数据集 soft label 获取,对于去重后的 ImageNet22k 数据集,我们使用
`ResNeXt101_32x16d_wsl`
模型进行预测,得到每张图片的 soft label 。
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录