From ef759fd3aceb447efe0f0a4b50844a08b844da1d Mon Sep 17 00:00:00 2001 From: Dang Qingqing Date: Tue, 24 Dec 2019 06:52:18 +0000 Subject: [PATCH] Fix image link --- docs/docs/algo/algo.md | 24 ++++++++++++------------ 1 file changed, 12 insertions(+), 12 deletions(-) diff --git a/docs/docs/algo/algo.md b/docs/docs/algo/algo.md index bea48764..46786744 100644 --- a/docs/docs/algo/algo.md +++ b/docs/docs/algo/algo.md @@ -12,14 +12,14 @@ 近年来，定点量化使用更少的比特数（如8-bit、3-bit、2-bit等）表示神经网络的权重和激活已被验证是有效的。定点量化的优点包括低内存带宽、低功耗、低计算资源占用以及低模型存储需求等。

-
+
表1: 不同类型操作的开销对比

由表1可知，低精度定点数操作的硬件面积大小及能耗比高精度浮点数要少几个数量级。 使用定点量化可带来4倍的模型压缩、4倍的内存带宽提升，以及更高效的cache利用(很多硬件设备，内存访问是主要能耗)。除此之外，计算速度也会更快(通常具有2x-3x的性能提升)。由表2可知，在很多场景下，定点量化操作对精度并不会造成损失。另外，定点量化对神经网络于嵌入式设备上的推断来说是极其重要的。

-
+
表2：模型量化前后精度对比

@@ -43,7 +43,7 @@ $q = scale * r + b$ 前向传播过程采用模拟量化的方式，具体描述如下：

-
+
图1：基于模拟量化训练的前向过程

@@ -67,7 +67,7 @@ $$ 上述公式表明反量化操作可以被移动到`GEMM`之前，即先对$Xq$和$Wq$执行反量化操作再做`GEMM`操作。因此，前向传播的工作流亦可表示为如下方式：

-
+
图2：基于模拟量化训练前向过程的等价工作流

@@ -77,7 +77,7 @@ $$ 由图3可知，权重更新所需的梯度值可以由量化后的权重和量化后的激活求得。反向传播过程中的所有输入和输出均为32-bit浮点型数据。注意，梯度更新操作需要在原始权重上进行，即计算出的梯度将被加到原始权重上而非量化后或反量化后的权重上。

-
+
图3：基于模拟量化训练的反向传播和权重更新过程

@@ -125,7 +125,7 @@ $$ Vt = (1 - k) * V + k * V_{t-1} $$

-
+
图4

@@ -137,7 +137,7 @@ $$ Vt = (1 - k) * V + k * V_{t-1} $$ 减去被删除的一行：greedy pruning

-
+
图5

@@ -147,7 +147,7 @@ $$ Vt = (1 - k) * V + k * V_{t-1} $$

-
+
图6

@@ -174,7 +174,7 @@ $$ Vt = (1 - k) * V + k * V_{t-1} $$ #### 敏感度的理解

-
+
图7

@@ -187,7 +187,7 @@ $$ Vt = (1 - k) * V + k * V_{t-1} $$ 用户给定一个模型整体的剪裁率，我们通过移动**图5**中的黑色实线来找到一组满足条件的且合法的剪裁率。

-
+
图8

@@ -209,7 +209,7 @@ Fast Optimization, Network Minimization and Transfer Learning](http://openaccess 相比传统的蒸馏方法直接用小模型去拟合大模型的输出，该方法用小模型去拟合大模型不同层特征之间的转换关系，其用一个FSP矩阵（特征的内积）来表示不同层特征之间的关系，大模型和小模型不同层之间分别获得多个FSP矩阵，然后使用L2 loss让小模型的对应层FSP矩阵和大模型对应层的FSP矩阵尽量一致，具体如下图所示。这种方法的优势，通俗的解释是，比如将蒸馏类比成teacher（大模型）教student（小模型）解决一个问题，传统的蒸馏是直接告诉小模型问题的答案，让小模型学习，而学习FSP矩阵是让小模型学习解决问题的中间过程和方法，因此其学到的信息更多。

-
+
图9

@@ -256,7 +256,7 @@ e^{\frac{(r_k-r)}{T_k}} & r_k < r\\ 因为要搜索出在移动端运行速度快的模型，我们参考了MobileNetV2中的Linear Bottlenecks和Inverted residuals结构，搜索每一个Inverted residuals中的具体参数，包括kernelsize、channel扩张倍数、重复次数、channels number。如图10所示：

-
+
图10

-- GitLab