1. 剪枝
- 支持更多模型结构
- 支持自动跳过无法识别的Operator。
- 支持自动跳过网络结构中的叶子节点。
- 支持通过环境变量『OPS_UNCHANGE_SHAPE』设置剪枝更多激活类Operator。
2. 量化
- 离线量化（Post Training Quantization）
- 新增基于直方图（hist）、平均值(avg)、量化均方误差（mse）的激活值校准方法。
- 新增对于权重的偏差校正（bias correction）方法。
- 修复PACT量化训练若干问题。
- 优化PaddleInference TensorRT下BERT Int8推理。
3. 新增非结构化稀疏功能，在多种视觉任务上验证收益
- 支持动态图和静态图下的调用。
- 调用方式简便，仅需要插入三行代码。
- 支持按照比例/阈值稀疏化两种模式。
- 开发者可以自定义稀疏化时跳过哪些参数层。例如，默认跳过所有的归一化层参数。
4. OFA修复
- 新增搜索空间清理功能，解决模型结构中存在shortcut结构时无法搜索的问题，减少无效搜索。
- 修复不同gpu上选择的子网络config不同。
- 修复block命名中含有'conv' 'embedding' 等字符串时convert超网络出问题的bug。
- 修复paddle.multiply时，两个输入shape会存在不一致的情况。
- 修复重复多次注册hook，但是内存不释放 的问题。
- SuperOP相关修复：修复group>1时SuperConv系列计算的问题，修复对depthwise conv的判断条件，SuperBN2D新增use_global_stats接口。
- 新增skip_layers 参数支持指定层在训练过程中参数大小保持不变。
- 新增config为'channel'的子模型导出。