训练后量化权值使用的量化方法确切是什么?
Created by: zhizunbao-y
原文:训练后量化的目标是求取量化比例因子,主要有两种方法:非饱和量化方法 ( No Saturation) 和饱和量化方法 (Saturation)。非饱和量化方法计算FP32类型Tensor中绝对值的最大值abs_max,将其映射为127,则量化比例因子等于abs_max/127。饱和量化方法使用KL散度计算一个合适的阈值T (0<T<mab_max),将其映射为127,则量化比例因子等于T/127。一般而言,对于待量化op的权重Tensor,采用非饱和量化方法,对于待量化op的激活Tensor(包括输入和输出),采用饱和量化方法 。
问题:
1.权值使用的量化方法算法原理里用的是abs_max,而api介绍里说的是channel_abs_max
2.另外对于激活层,使用KL散度计算出的T,算法原理里写的是0<T<mab_max, 其中mab_max是指什么?
3.训练后量化中,对于输入量化比例系数的计算也是使用KL散度吗?