未验证 提交 21162a2a 编写于 作者: Z Zhen Wang 提交者: GitHub

update some slim result. (#2200)

上级 52628ff7
...@@ -115,13 +115,22 @@ Paddle-Slim工具库有以下特点: ...@@ -115,13 +115,22 @@ Paddle-Slim工具库有以下特点:
### 量化训练 ### 量化训练
评估实验所使用数据集为ImageNet1000类数据,且以top-1准确率为衡量指标 评估实验所使用数据集为ImageNet 1000类数据, 量化训练前后模型top-5/top-1准确率对比如下
| Model | FP32| int8(X:abs_max, W:abs_max) | int8, (X:moving_average_abs_max, W:abs_max) |int8, (X:abs_max, W:channel_wise_abs_max) | | Model | FP32| int8(X:abs_max, W:abs_max) | int8, (X:moving_average_abs_max, W:abs_max) |int8, (X:abs_max, W:channel_wise_abs_max) |
|:---|:---:|:---:|:---:|:---:| |:---|:---:|:---:|:---:|:---:|
|MobileNetV1|89.54%/70.91%|89.64%/71.01%|89.58%/70.86%|89.75%/71.13%| |MobileNetV1|89.54%/70.91%|89.64%/71.01%|89.58%/70.86%|89.75%/71.13%|
|ResNet50|92.80%/76.35%|93.12%/76.77%|93.07%/76.65%|93.15%/76.80%| |ResNet50|92.80%/76.35%|93.12%/76.77%|93.07%/76.65%|93.15%/76.80%|
量化训练前后,模型大小的变化对比如下:
| Model | FP32 | int8(A:abs_max, W:abs_max) | int8, (A:moving_average_abs_max, W:abs_max) | int8, (A:abs_max, W:channel_wise_abs_max) |
| :--- | :---: | :---: | :---: | :---: |
| MobileNetV1 | 17M | 4.8M(-71.76%) | 4.9M(-71.18%) | 4.9M(-71.18%) |
| ResNet50 | 99M | 26M(-73.74%) | 27M(-72.73%) | 27M(-72.73%) |
注:abs_max为动态量化,moving_average_abs_max为静态量化, channel_wise_abs_max是对卷积权重进行分channel量化。
### 卷积核剪切 ### 卷积核剪切
数据:ImageNet 1000类 数据:ImageNet 1000类
...@@ -165,9 +174,9 @@ Paddle-Slim工具库有以下特点: ...@@ -165,9 +174,9 @@ Paddle-Slim工具库有以下特点:
|---|---|---| |---|---|---|
| Baseline|89.54% / 70.91%|17.0M| | Baseline|89.54% / 70.91%|17.0M|
| ResNet50蒸馏|90.92% / 71.97%|17.0M| | ResNet50蒸馏|90.92% / 71.97%|17.0M|
| ResNet50蒸馏训 + 量化|90.94% / 72.08%|4.2M| | ResNet50蒸馏训练 + 量化|90.94% / 72.01%|4.8M|
| 剪切-50% FLOPS|89.13% / 69.83%|9.0M| | 剪切-50% FLOPS|89.13% / 69.83%|9.0M|
| 剪切-50% FLOPS + 量化|89.11% / 69.70%|2.3M| | 剪切-50% FLOPS + 量化|89.11% / 69.20%|2.3M|
## 模型导出格式 ## 模型导出格式
......
...@@ -229,9 +229,9 @@ python compress.py \ ...@@ -229,9 +229,9 @@ python compress.py \
该示例结果如下: 该示例结果如下:
| Model | int8量化(top1_acc)| | 模型(int8动态量化) | 模型大小 | 精度(top5/top1)|
|---|---| |---|---|---|
|MobileNetV1|71.00%| |MobileNetV1|-71.76%(4.8M)|89.64% / 71.01%|
### 3.5 蒸馏后int8量化 ### 3.5 蒸馏后int8量化
...@@ -252,9 +252,9 @@ python compress.py \ ...@@ -252,9 +252,9 @@ python compress.py \
该示例结果如下: 该示例结果如下:
|- |精度(top5/top1) | | 模型(ResNet50蒸馏训练+int8量化) | 模型大小 | 精度(top1) |
|---|---| | --- | --- | --- |
| ResNet50蒸馏训+量化|90.94% / 72.08%| | MobileNet v1 | -71.76%(4.8M)| 72.01% |
### 3.6 剪切后int8量化 ### 3.6 剪切后int8量化
...@@ -273,6 +273,6 @@ python compress.py \ ...@@ -273,6 +273,6 @@ python compress.py \
该示例结果如下: 该示例结果如下:
| 剪切FLOPS |剪切+量化(dynamic) | 模型(剪切FLOPS+动态int8量化) | 模型大小 | 精度(top1) |
|---|---| | --- | --- | --- |
| -50%|89.11% / 69.70%| | MobileNet v1(剪切FLOPS -50%) | -86.47%(2.3M) | 69.20% |
...@@ -28,21 +28,23 @@ ...@@ -28,21 +28,23 @@
## 1. int8量化训练 ## 1. int8量化训练
评估实验所使用数据集为ImageNet 1000类,且以top-1准确率为衡量指标 评估实验所使用数据集为ImageNet 1000类数据, 量化训练前后模型top-5/top-1准确率对比如下
| Model | FP32| int8(A:abs_max, W:abs_max) | int8, (A:moving_average_abs_max, W:abs_max) |int8, (A:abs_max, W:channel_wise_abs_max) | | Model | FP32| int8(X:abs_max, W:abs_max) | int8, (X:moving_average_abs_max, W:abs_max) |int8, (X:abs_max, W:channel_wise_abs_max) |
|:---|:---:|:---:|:---:|:---:| |:---|:---:|:---:|:---:|:---:|
|MobileNetV1|[70.916%]()|[71.008%]()|[70.84%]()|[71.00%]()| |MobileNetV1|[89.54% / 70.91%]()|[89.64% / 71.01%]()|[89.58% / 70.86%]()|[89.75% / 71.13%]()|
|ResNet50|[76.352%]()|[76.612%]()|[76.456%]()|[76.73%]()| |ResNet50|[92.80% / 76.35%]()|[93.12% / 76.77%]()|[93.07% / 76.65%]()|[93.15% / 76.80%]()|
点击表中超链接即可下载预训练模型。 点击表中超链接即可下载预训练模型。
模型大小变化 量化训练前后,模型大小的变化对比如下
| Model | FP32| int8(A:abs_max, W:abs_max) | int8, (A:moving_average_abs_max, W:abs_max) |int8, (A:abs_max, W:channel_wise_abs_max) | | Model | FP32 | int8(A:abs_max, W:abs_max) | int8, (A:moving_average_abs_max, W:abs_max) | int8, (A:abs_max, W:channel_wise_abs_max) |
|:---|:---:|:---:|:---:|:---:| | :--- | :---: | :---: | :---: | :---: |
|MobileNetV1|17M|4.8M(1/3.54)|5.1M(1/3.33)|4.9M(1/3.47)| | MobileNetV1 | 17M | 4.8M(-71.76%) | 4.9M(-71.18%) | 4.9M(-71.18%) |
|ResNet50|99M|26M(1/3.81)|27M(1/3.67)|27M(1/3.67)| | ResNet50 | 99M | 26M(-73.74%) | 27M(-72.73%) | 27M(-72.73%) |
注:abs_max为动态量化,moving_average_abs_max为静态量化, channel_wise_abs_max是对卷积权重进行分channel量化。
## 2. 剪切实验 ## 2. 剪切实验
...@@ -198,9 +200,9 @@ optimizer = fluid.optimizer.Momentum( ...@@ -198,9 +200,9 @@ optimizer = fluid.optimizer.Momentum(
#### 实验结果 #### 实验结果
|- |精度(top5/top1) |模型下载 | |- |精度(top1) |模型下载 |
|---|---|---| |---|---|---|
| ResNet50蒸馏训+量化|90.94% / 72.08%| [点击下载]()| | ResNet50蒸馏训练+量化| 72.01%| [点击下载]()|
### 4.2 剪切后量化 ### 4.2 剪切后量化
...@@ -212,4 +214,4 @@ optimizer = fluid.optimizer.Momentum( ...@@ -212,4 +214,4 @@ optimizer = fluid.optimizer.Momentum(
| 剪切FLOPS |剪切+量化(dynamic)|模型下载 | | 剪切FLOPS |剪切+量化(dynamic)|模型下载 |
|---|---|---| |---|---|---|
| -50%|89.11% / 69.70%| [点击下载]()| | -50%| 69.20%| [点击下载]()|
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册