Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
s920243400
PaddleOCR
提交
05d76635
P
PaddleOCR
项目概览
s920243400
/
PaddleOCR
与 Fork 源项目一致
Fork自
PaddlePaddle / PaddleOCR
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleOCR
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
05d76635
编写于
5月 16, 2022
作者:
M
MissPenguin
提交者:
GitHub
5月 16, 2022
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Update knowledge_distillation.md
上级
7db34778
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
5 addition
and
5 deletion
+5
-5
doc/doc_ch/knowledge_distillation.md
doc/doc_ch/knowledge_distillation.md
+5
-5
未找到文件。
doc/doc_ch/knowledge_distillation.md
浏览文件 @
05d76635
...
@@ -293,8 +293,8 @@ Loss:
...
@@ -293,8 +293,8 @@ Loss:
以上述配置为例,最终蒸馏训练的损失函数包含下面5个部分。
以上述配置为例,最终蒸馏训练的损失函数包含下面5个部分。
-
`Student`
和
`Teacher`
最终输出(
`head_out`
)的CTC分支与gt的CTC loss,权重为1。在这里因为2个子网络都需要更新参数,因此2者都需要计算与g的loss。
-
`Student`
和
`Teacher`
最终输出(
`head_out`
)的CTC分支与gt的CTC loss,权重为1。在这里因为2个子网络都需要更新参数,因此2者都需要计算与g
t
的loss。
-
`Student`
和
`Teacher`
最终输出(
`head_out`
)的SAR分支与gt的SAR loss,权重为1.0。在这里因为2个子网络都需要更新参数,因此2者都需要计算与g的loss。
-
`Student`
和
`Teacher`
最终输出(
`head_out`
)的SAR分支与gt的SAR loss,权重为1.0。在这里因为2个子网络都需要更新参数,因此2者都需要计算与g
t
的loss。
-
`Student`
和
`Teacher`
最终输出(
`head_out`
)的CTC分支之间的DML loss,权重为1。
-
`Student`
和
`Teacher`
最终输出(
`head_out`
)的CTC分支之间的DML loss,权重为1。
-
`Student`
和
`Teacher`
最终输出(
`head_out`
)的SAR分支之间的DML loss,权重为0.5。
-
`Student`
和
`Teacher`
最终输出(
`head_out`
)的SAR分支之间的DML loss,权重为0.5。
-
`Student`
和
`Teacher`
的骨干网络输出(
`backbone_out`
)之间的l2 loss,权重为1。
-
`Student`
和
`Teacher`
的骨干网络输出(
`backbone_out`
)之间的l2 loss,权重为1。
...
@@ -374,7 +374,7 @@ paddle.save(s_params, "ch_PP-OCRv3_rec_train/student.pdparams")
...
@@ -374,7 +374,7 @@ paddle.save(s_params, "ch_PP-OCRv3_rec_train/student.pdparams")
<a
name=
"22"
></a>
<a
name=
"22"
></a>
### 2.2 检测配置文件解析
### 2.2 检测配置文件解析
检测模型蒸馏的配置文件在PaddleOCR/configs/det/ch_PP-OCRv3/目录下,包含两个
个
蒸馏配置文件:
检测模型蒸馏的配置文件在PaddleOCR/configs/det/ch_PP-OCRv3/目录下,包含两个蒸馏配置文件:
-
ch_PP-OCRv3_det_cml.yml,采用cml蒸馏,采用一个大模型蒸馏两个小模型,且两个小模型互相学习的方法
-
ch_PP-OCRv3_det_cml.yml,采用cml蒸馏,采用一个大模型蒸馏两个小模型,且两个小模型互相学习的方法
-
ch_PP-OCRv3_det_dml.yml,采用DML的蒸馏,两个Student模型互蒸馏的方法
-
ch_PP-OCRv3_det_dml.yml,采用DML的蒸馏,两个Student模型互蒸馏的方法
...
@@ -383,7 +383,7 @@ paddle.save(s_params, "ch_PP-OCRv3_rec_train/student.pdparams")
...
@@ -383,7 +383,7 @@ paddle.save(s_params, "ch_PP-OCRv3_rec_train/student.pdparams")
知识蒸馏任务中,模型结构配置如下所示:
知识蒸馏任务中,模型结构配置如下所示:
```
```
yaml
Architecture
:
Architecture
:
name
:
DistillationModel
# 结构名称,蒸馏任务中,为DistillationModel,用于构建对应的结构
name
:
DistillationModel
# 结构名称,蒸馏任务中,为DistillationModel,用于构建对应的结构
algorithm
:
Distillation
# 算法名称
algorithm
:
Distillation
# 算法名称
...
@@ -428,7 +428,7 @@ Architecture:
...
@@ -428,7 +428,7 @@ Architecture:
下面介绍
[
ch_PP-OCRv3_det_cml.yml
](
https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.4/configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_cml.yml
)
的配置文件参数:
下面介绍
[
ch_PP-OCRv3_det_cml.yml
](
https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.4/configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_cml.yml
)
的配置文件参数:
```
```
yaml
Architecture
:
Architecture
:
name
:
DistillationModel
name
:
DistillationModel
algorithm
:
Distillation
algorithm
:
Distillation
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录