Created by: imistyrain

用PaddleSlim量化得到了int8的模型，但是还是和save_vars类似由很多文件组成，调用save_inference_model时报错，提示holder_ should not be null

Created by: junjun315

请问使用的paddle版本是多少？

Created by: imistyrain

1.5

Created by: junjun315

test_prog 这个参数，应该是进行量化训练时的 test_prog, 因为量化过程有一些剪枝操作，会删除一些参数。如果program不对的话，就会报出日志里说的找不到tensor

Created by: imistyrain

刚看了下保存int8的代码就是用save_inference_model保存的，但是加载的话用load_inference_model好像不行，提示Expected input_data_type == filter_data_type, but received input_data_type:5 != filter_data_type:21

Created by: wanghaoshuang

@imistyrain 你好，PaddleSlim 的量化训练功能支持保存三种模型格式：

• float_model_save_path: 保存float数据格式模型的路径。模型weight的实际大小在int8可表示范围内，但是是以float格式存储的。如果设置为None, 则不存储float格式的模型。默认为None.
• int8_model_save_path: 保存int8数据格式模型的路径。如果设置为None, 则不存储int8格式的模型。默认为None.
• mobile_model_save_path: 保存兼容paddle-mobile框架的模型的路径。如果设置为None, 则不存储mobile格式的模型。默认为None.

其中，int8_model是不能用Paddle框架来直接加载使用的，因为Paddle框架没有实现int8数值计算的op（后续有计划添加）。

目前，Paddle框架只能load float_model来验证量化的效果。

Created by: zzchust

@wanghaoshuang hi， 这里如果量化之后，要在server-CPU端做inference应该用哪种模型格式呢？ 量化之后相比量化之前，在CPU上会有速度提升吗？

@imistyrain 你好，PaddleSlim 的量化训练功能支持保存三种模型格式：

• float_model_save_path: 保存float数据格式模型的路径。模型weight的实际大小在int8可表示范围内，但是是以float格式存储的。如果设置为None, 则不存储float格式的模型。默认为None.
• int8_model_save_path: 保存int8数据格式模型的路径。如果设置为None, 则不存储int8格式的模型。默认为None.
• mobile_model_save_path: 保存兼容paddle-mobile框架的模型的路径。如果设置为None, 则不存储mobile格式的模型。默认为None.

其中，int8_model是不能用Paddle框架来直接加载使用的，因为Paddle框架没有实现int8数值计算的op（后续有计划添加）。

目前，Paddle框架只能load float_model来验证量化的效果。