From 2dc89a6b46d7b18e4f310e98196e97559d67c0fb Mon Sep 17 00:00:00 2001 From: Ryan_Huang <44900829+hackHaozi@users.noreply.github.com> Date: Wed, 8 Apr 2020 08:40:50 +0800 Subject: [PATCH] Update algo.md (#209) --- docs/zh_cn/algo/algo.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/zh_cn/algo/algo.md b/docs/zh_cn/algo/algo.md index 67977e70..a683b930 100644 --- a/docs/zh_cn/algo/algo.md +++ b/docs/zh_cn/algo/algo.md @@ -203,7 +203,7 @@ $$ Vt = (1 - k) * V + k * V_{t-1} $$ ## 3. 蒸馏 - 一般情况下，模型参数量越多，结构越复杂，其性能越好，但参数也越允余，运算量和资源消耗也越大；模型蒸馏是将复杂网络中的有用信息将复杂网络中的有用信息提取出来提取出来，迁移到一个更小的网络中去，在我们的工具包中，支持两种蒸馏的方法。 + 一般情况下，模型参数量越多，结构越复杂，其性能越好，但参数也越允余，运算量和资源消耗也越大；模型蒸馏将复杂网络中的有用信息提取出来提取出来，迁移到一个更小的网络中去，在我们的工具包中，支持两种蒸馏的方法。 第一种是传统的蒸馏方法（参考论文：[Distilling the Knowledge in a Neural Network](https://arxiv.org/pdf/1503.02531.pdf)） 使用复杂的网络作为teacher模型去监督训练一个参数量和运算量更少的student模型。teacher模型可以是一个或者多个提前训练好的高性能模型。student模型的训练有两个目标：一个是原始的目标函数，为student模型输出的类别概率和label的交叉熵，记为hard-target；另一个是student模型输出的类别概率和teacher模型输出的类别概率的交叉熵，记为soft target，这两个loss加权后得到最终的训练loss，共同监督studuent模型的训练。 第二种是基于FSP的蒸馏方法（参考论文：[A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning](http://openaccess.thecvf.com/content_cvpr_2017/papers/Yim_A_Gift_From_CVPR_2017_paper.pdf)） -- GitLab