Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleSeg
提交
e460bb32
P
PaddleSeg
项目概览
PaddlePaddle
/
PaddleSeg
通知
285
Star
8
Fork
1
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
53
列表
看板
标记
里程碑
合并请求
3
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleSeg
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
53
Issue
53
列表
看板
标记
里程碑
合并请求
3
合并请求
3
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
e460bb32
编写于
2月 07, 2020
作者:
L
LielinJiang
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update readme
上级
ff51164e
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
2 addition
and
2 deletion
+2
-2
slim/distillation/README.md
slim/distillation/README.md
+2
-2
未找到文件。
slim/distillation/README.md
浏览文件 @
e460bb32
...
@@ -49,7 +49,7 @@ print(teacher_vars)
...
@@ -49,7 +49,7 @@ print(teacher_vars)
```
bash
```
bash
# student model
# student model
bilinear_interp_
1
.tmp_0
bilinear_interp_
0
.tmp_0
# teacher model
# teacher model
bilinear_interp_2.tmp_0
bilinear_interp_2.tmp_0
```
```
...
@@ -58,7 +58,7 @@ bilinear_interp_2.tmp_0
...
@@ -58,7 +58,7 @@ bilinear_interp_2.tmp_0
它们形状两两相同,且分别处于两个网络的输出部分。所以,我们用
`l2_loss`
对这几个特征图两两对应添加蒸馏loss。需要注意的是,teacher的Variable在merge过程中被自动添加了一个
`name_prefix`
,所以这里也需要加上这个前缀
`"teacher_"`
,merge过程请参考
[
蒸馏API文档
](
https://paddlepaddle.github.io/PaddleSlim/api/single_distiller_api/#merge
)
它们形状两两相同,且分别处于两个网络的输出部分。所以,我们用
`l2_loss`
对这几个特征图两两对应添加蒸馏loss。需要注意的是,teacher的Variable在merge过程中被自动添加了一个
`name_prefix`
,所以这里也需要加上这个前缀
`"teacher_"`
,merge过程请参考
[
蒸馏API文档
](
https://paddlepaddle.github.io/PaddleSlim/api/single_distiller_api/#merge
)
```
python
```
python
distill_loss
=
l2_loss
(
'teacher_bilinear_interp_2.tmp_0'
,
'bilinear_interp_
1
.tmp_0'
)
distill_loss
=
l2_loss
(
'teacher_bilinear_interp_2.tmp_0'
,
'bilinear_interp_
0
.tmp_0'
)
```
```
我们也可以根据上述操作为蒸馏策略选择其他loss,PaddleSlim支持的有
`FSP_loss`
,
`L2_loss`
,
`softmax_with_cross_entropy_loss`
以及自定义的任何loss。
我们也可以根据上述操作为蒸馏策略选择其他loss,PaddleSlim支持的有
`FSP_loss`
,
`L2_loss`
,
`softmax_with_cross_entropy_loss`
以及自定义的任何loss。
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录