Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleClas
提交
23b066be
P
PaddleClas
项目概览
PaddlePaddle
/
PaddleClas
大约 1 年 前同步成功
通知
115
Star
4999
Fork
1114
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
19
列表
看板
标记
里程碑
合并请求
6
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleClas
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
19
Issue
19
列表
看板
标记
里程碑
合并请求
6
合并请求
6
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
23b066be
编写于
9月 26, 2022
作者:
littletomatodonkey
提交者:
GitHub
9月 26, 2022
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix distillation link (#2347)
上级
c4653b7e
变更
3
显示空白变更内容
内联
并排
Showing
3 changed file
with
7 addition
and
4 deletion
+7
-4
README_ch.md
README_ch.md
+2
-2
docs/zh_CN/algorithm_introduction/knowledge_distillation.md
docs/zh_CN/algorithm_introduction/knowledge_distillation.md
+2
-2
docs/zh_CN/training/advanced/knowledge_distillation.md
docs/zh_CN/training/advanced/knowledge_distillation.md
+3
-0
未找到文件。
README_ch.md
浏览文件 @
23b066be
...
...
@@ -120,8 +120,8 @@ PP-ShiTuV2 Android Demo APP,可扫描如下二维码,下载体验
-
[
度量学习
](
docs/zh_CN/algorithm_introduction/metric_learning.md
)
-
[
ReID
](
./docs/zh_CN/algorithm_introduction/ReID.md
)
-
[
模型压缩
](
docs/zh_CN/algorithm_introduction/prune_quantization.md
)
-
[
模型蒸馏
](
docs/zh_CN/algorithm_introduction
/knowledge_distillation.md
)
-
[
数据增强
](
docs/zh_CN/training/config_d
i
scription/data_augmentation.md
)
-
[
模型蒸馏
](
./docs/zh_CN/training/advanced
/knowledge_distillation.md
)
-
[
数据增强
](
docs/zh_CN/training/config_d
e
scription/data_augmentation.md
)
-
[
产业实用范例库
](
docs/zh_CN/samples
)
-
[
30分钟快速体验图像分类
](
docs/zh_CN/quick_start/quick_start_classification_new_user.md
)
-
FAQ
...
...
docs/zh_CN/algorithm_introduction/knowledge_distillation.md
浏览文件 @
23b066be
...
...
@@ -28,7 +28,7 @@
## 2. 知识蒸馏应用
知识蒸馏算法在模型轻量化过程任务中应用广泛,对于需要满足特定的精度的任务,通过使用知识蒸馏的方法
,我们可以使用更小的模型便能达到要求的精度,从而减小了模型部署的成本。
知识蒸馏算法在模型轻量化过程任务中应用广泛,对于需要满足特定的精度的任务,通过使用知识蒸馏的方法,我们可以使用更小的模型便能达到要求的精度,从而减小了模型部署的成本。
此外,对于相同的模型结构,使用知识蒸馏训练得到的预训练模型精度往往更高,这些预训练模型往往也可以提升下游任务的模型精度。比如在图像分类任务中,基于知识蒸馏算法得到的精度更高的预训练模型,也能够在目标检测、图像分割、OCR、视频分类等任务中获得明显的精度收益。
...
...
@@ -54,7 +54,7 @@ Heo 等人提出了 OverHaul [8], 计算学生模型与教师模型的 feature m
<a
name=
'3.3'
></a>
### 3.3 Relation based distillation
`3.1`
和
`3.2`
章节中的论文中主要是考虑到学生模型与教师模型的输出或者中间层 feature map,这些知识蒸馏算法只关注个体的输出结果,没有考虑到个体之间的输出关系。
Park 等人提出了 RKD [10],基于关系的知识蒸馏算法,RKD 中进一步考虑个体输出之间的关系,使用 2 种损失函数,二阶的距离损失(distance-wise)和三阶的角度损失(angle-wise)
...
...
docs/zh_CN/training/advanced/knowledge_distillation.md
浏览文件 @
23b066be
...
...
@@ -70,6 +70,9 @@ Park 等人提出了 RKD [10],基于关系的知识蒸馏算法,RKD 中进
本论文提出的算法关系知识蒸馏(RKD)迁移教师模型得到的输出结果间的结构化关系给学生模型,不同于之前的只关注个体输出结果,RKD 算法使用两种损失函数:二阶的距离损失(distance-wise)和三阶的角度损失(angle-wise)。在最终计算蒸馏损失函数的时候,同时考虑 KD loss 和 RKD loss。最终精度优于单独使用 KD loss 蒸馏得到的模型精度。
更多关于知识蒸馏的算法简介以及应用介绍,请参考:
[
知识蒸馏算法简介
](
../../algorithm_introduction/knowledge_distillation.md
)
。
<a
name=
'1.2'
></a>
### 1.2 PaddleClas支持的知识蒸馏算法
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录