PaddleSlim是PaddlePaddle框架的一个子模块，主要用于压缩图像领域模型。在PaddleSlim中，不仅实现了目前主流的网络剪枝、量化、蒸馏三种压缩策略，还实现了超参数搜索和小模型网络结构搜索功能。在后续版本中，会添加更多的压缩策略，以及完善对NLP领域模型的支持。
-(TODO) PaddleSlim架构介绍...
+基于进化算法的自动模型剪裁三种方式
+模型剪裁
+量化训练
-支持对权重全局量化和Channel-Wise量化
+蒸馏
+知识蒸馏
轻量神经网络结构自动搜索（Light-NAS）
-安装PaddleSlim前，请确认已正确安装Paddle1.6版本或更新版本。Paddle安装请参考：Paddle安装教程。
请点击pypi.org查看可安装历史版本。
-PaddleSlim的离线量化、在线量化、均匀剪裁、敏感度剪裁、知识蒸馏等策略在多个主流CNN模型上都进行了验证，部分实验结果如下，全部的实验结果请参见模型库
+我们在多个模型上分别验证了离线量化和在线量化的效果：离线量化过程简单，无需再次训练，但精度损失相对较多；在线量化需要额外的训练过程，但好处是精度损失可以被有效降低：
+| 模型 | +压缩方法 | +Top-1/Top-5 Acc | +模型大小（MB） | +
|---|---|---|---|
| MobileNetV2 | +- | +72.15%/90.65% | +xx | +
| MobileNetV2 | +quant_post | +xx%/xx% | +xx | +
| MobileNetV2 | +quant_aware | +xx%/xx% | +xx | +
| ResNet50 | +- | +76.50%/93.00% | +xx | +
| ResNet50 | +quant_post | +xx%/xx% | +xx | +
| ResNet50 | +quant_aware | +xx%/xx% | +xx | +
模型剪裁在不带来过多精度损失的前提下有效降低模型计算的FLOPs（floating point operations per second），PaddleSlim在多个模型上验证了均匀剪裁、敏感度剪裁、自动剪裁三种方式，并取得了一定收益：
+| 模型 | +压缩方法 | +Top-1/Top-5 Acc | +模型大小（MB） | +FLOPs（M） | +
|---|---|---|---|---|
| MobileNetV2 | +- | +72.15%/90.65% | +xx | +xx | +
| MobileNetV2 | +uniform -xx% | +xx%/xx% | +xx | +xx | +
| MobileNetV2 | +sensitive -xx% | +xx%/xx% | +xx | +xx | +
| ResNet34 | +- | +74.57%/92.14% | +xx | +xx | +
| ResNet34 | +uniform -xx% | +xx%/xx% | +xx | +xx | +
| ResNet34 | +auto -xx% | +xx%/xx% | +xx | +xx | +
我们在多个图象分类和目标检测模型上应用了PaddleSlim的知识蒸馏功能，这些实验在不增加目标模型计算复杂度的前提下都一定程度提升了其精度表现：
+| 模型 | +压缩方法 | +Top-1/Top-5 Acc | +
|---|---|---|
| MobileNetV2 | +- | +72.15%/90.65% | +
| MobileNetV2 | +ResNet50_vd distill | +74.28%/91.53% | +
| ResNet50 | +- | +76.50%/93.00% | +
| ResNet50 | +ResNet101 distill | +77.29%/93.65% | +
[1]：带_vd后缀代表该预训练模型使用了Mixup，Mixup相关介绍参考mixup: Beyond Empirical Risk Minimization
数据集：Pasacl VOC & COCO 2017
数据集： COCO 2017