PaddleSlim#

PaddleSlim是PaddlePaddle框架的一个子模块，主要用于压缩图像领域模型。在PaddleSlim中，不仅实现了目前主流的网络剪枝、量化、蒸馏三种压缩策略，还实现了超参数搜索和小模型网络结构搜索功能。在后续版本中，会添加更多的压缩策略，以及完善对NLP领域模型的支持。

架构#

(TODO) PaddleSlim架构介绍...

模型剪裁
- 通道均匀模型剪裁
- 基于敏感度的模型剪裁
- 基于进化算法的自动模型剪裁
量化训练
- 在线量化训练
- 离线量化
- 对权重全局量化和Channel-Wise量化
知识蒸馏
轻量神经网络结构自动搜索（Light-NAS）
- 基于进化算法的轻量神经网络结构自动搜索（Light-NAS）
- 支持FLOPS / 硬件延时约束
- 支持多平台模型延时评估

安装PaddleSlim前，请确认已正确安装Paddle1.6版本或更新版本。Paddle安装请参考：Paddle安装教程。

1
2
3

git clone https://github.com/PaddlePaddle/PaddleSlim.git
cd PaddleSlim
python setup.py install

1	pip install paddleslim -i https://pypi.org/simple

请点击pypi.org查看可安装历史版本。

PaddleSlim的离线量化、在线量化、均匀剪裁、敏感度剪裁、知识蒸馏等策略在多个主流CNN模型上都进行了验证，部分实验结果如下，全部的实验结果请参见模型库

我们在多个模型上分别验证了离线量化和在线量化的效果：离线量化过程简单，无需再次训练，但精度损失相对较多；在线量化需要额外的训练过程，但好处是精度损失可以被有效降低：

模型	压缩方法	Top-1/Top-5 Acc	模型大小（MB）
MobileNetV2	-	72.15%/90.65%	xx
MobileNetV2	quant_post	xx%/xx%	xx
MobileNetV2	quant_aware	xx%/xx%	xx
ResNet50	-	76.50%/93.00%	xx
ResNet50	quant_post	xx%/xx%	xx
ResNet50	quant_aware	xx%/xx%	xx

模型剪裁在不带来过多精度损失的前提下有效降低模型计算的FLOPs（floating point operations per second），PaddleSlim在多个模型上验证了均匀剪裁、敏感度剪裁、自动剪裁三种方式，并取得了一定收益：

模型	压缩方法	Top-1/Top-5 Acc	模型大小（MB）	FLOPs（M）
MobileNetV2	-	72.15%/90.65%	xx	xx
MobileNetV2	uniform -xx%	xx%/xx%	xx	xx
MobileNetV2	sensitive -xx%	xx%/xx%	xx	xx
ResNet34	-	74.57%/92.14%	xx	xx
ResNet34	uniform -xx%	xx%/xx%	xx	xx
ResNet34	auto -xx%	xx%/xx%	xx	xx

我们在多个图象分类和目标检测模型上应用了PaddleSlim的知识蒸馏功能，这些实验在不增加目标模型计算复杂度的前提下都一定程度提升了其精度表现：