未验证 提交 634fa2f9 编写于 作者: J Jiawei Wang 提交者: GitHub

Create CUBE_QUANT_CN.md

上级 30a0e07a
# Cube稀疏参数索引量化存储使用指南
(简体中文|[English](./CUBE_QUANT.md))
## 总体概览
我们在之前的文章中,知道稀疏参数是维度很大的一系列浮点数,而浮点数在计算机中需要4 Byte的存储空间。事实上,我们并不需要很高的浮点数精度就可以实现相当的模型效果,换来大量的空间节约,加快模型的加载速度和查询速度。
## 前序要求
请先读取 [稀疏参数索引服务Cube单机版使用指南](./CUBE_LOCAL_CN.md)
## 组件介绍
### seq_generator:
此工具用于把Paddle的模型转换成Sequence File,在这里,我给出了两种模式,第一种是普通模式,生成的KV序列当中的Value以未压缩的浮点数来进行保存。第二种是量化模式,生成的KV序列当中的Value按照 [min, max, bytes]来存储。具体原理请参见 ([Post-Training 4-bit Quantization on Embedding Tables](https://arxiv.org/abs/1911.02079))
## 使用方法
在Serving主目录下,到criteo_ctr_with_cube目录下训练出模型
```
cd python/examples/criteo_ctr_with_cube
python local_train.py # 生成模型
```
接下来可以使用量化和非量化两种方式去生成Sequence File用于Cube稀疏参数索引。
```
seq_generator ctr_serving_model/SparseFeatFactors ./cube_model/feature # 未量化模式
seq_generator ctr_serving_model/SparseFeatFactors ./cube_model/feature 8 #量化模式
```
此命令会讲ctr_serving_model目录下的稀疏参数文件SparseFeatFactors转换为cube_model目录下的feature文件(Sequence File格式)。目前量化工具仅支持8bit量化,未来将支持压缩率更高和种类更多的量化方法。
## 用量化模型启动Serving
在Serving当中,使用general_dist_kv_quant_infer op来进行预测时使用量化模型。具体详见 python/examples/criteo_ctr_with_cube/test_server_quant.py。客户端部分不需要做任何改动。
为方便用户做demo,我们给出了从0开始启动量化模型Serving。
```
cd python/examples/criteo_ctr_with_cube
python local_train.py
cp ../../../build_server/core/predictor/seq_generator seq_generator
cp ../../../build_server/output/bin/cube* ./cube/
sh cube_prepare_quant.sh &
python test_server_quant.py ctr_serving_model_kv &
python test_client.py ctr_client_conf/serving_client_conf.prototxt ./raw_data
```
用户可以将量化后的AUC结果同量化前的AUC做比较
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册