关于量化的一些使用问题
Created by: wanghaoshuang
- 量化训练完成后保存的模型是否保存了量化参数?如果有,怎么提取量化参数(每层输入输出和权重)?
- 量化的type 包含mul ,bn 中的mul 也会被量化吗?
- model有多种save 方式,包括检查点中的best_model,model,对应的除了检查点中包含训练的tmp梯度,还有什么区别吗?
- 修改默认量化位宽为7bit,进行 量化训练,对训练后的模型convert 成量化模型(包括float和int),int模型的权重范围还是【-128,127】,这个要怎么修改?
- 量化推断模型实际的数据流是量化后的int7数据还是float32的模型?
- 量化模型在做推断时,是怎么处理add,concat,等这些没有参数的层的? 」