Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleSlim
提交
6305bc93
P
PaddleSlim
项目概览
PaddlePaddle
/
PaddleSlim
1 年多 前同步成功
通知
51
Star
1434
Fork
344
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
53
列表
看板
标记
里程碑
合并请求
16
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleSlim
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
53
Issue
53
列表
看板
标记
里程碑
合并请求
16
合并请求
16
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
6305bc93
编写于
3月 05, 2020
作者:
L
Liufang Sang
提交者:
GitHub
3月 06, 2020
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix api doc and dead link (#168)
上级
065366bb
变更
4
隐藏空白更改
内联
并排
Showing
4 changed file
with
12 addition
and
12 deletion
+12
-12
demo/quant/quant_aware/README.md
demo/quant/quant_aware/README.md
+1
-1
demo/quant/quant_embedding/README.md
demo/quant/quant_embedding/README.md
+1
-1
demo/quant/quant_post/README.md
demo/quant/quant_post/README.md
+1
-1
docs/zh_cn/api_cn/quantization_api.rst
docs/zh_cn/api_cn/quantization_api.rst
+9
-9
未找到文件。
demo/quant/quant_aware/README.md
浏览文件 @
6305bc93
...
...
@@ -4,7 +4,7 @@
## 接口介绍
请参考
<a
href=
'
../../../paddleslim/quant/quantization_api_doc.md
'
>
量化API文档
</a>
。
请参考
<a
href=
'
https://paddlepaddle.github.io/PaddleSlim/api_cn/quantization_api.html#quant-aware
'
>
量化API文档
</a>
。
## 分类模型的量化训练流程
...
...
demo/quant/quant_embedding/README.md
浏览文件 @
6305bc93
...
...
@@ -3,7 +3,7 @@
本示例介绍如何使用Embedding量化的接口
[
paddleslim.quant.quant_embedding
](
)
。
``quant_embedding``
接口将网络中的Embedding参数从
``float32``
类型量化到
``8-bit``
整数类型,在几乎不损失模型精度的情况下减少模型的存储空间和显存占用。
接口介绍请参考
<a
href=
'
../../../paddleslim/quant/quantization_api_doc.md
'
>
量化API文档
</a>
。
接口介绍请参考
<a
href=
'
https://paddlepaddle.github.io/PaddleSlim/api_cn/quantization_api.html#quant-embedding
'
>
量化API文档
</a>
。
该接口对program的修改:
...
...
demo/quant/quant_post/README.md
浏览文件 @
6305bc93
...
...
@@ -4,7 +4,7 @@
## 接口介绍
请参考
<a
href=
'
../../../paddleslim/quant/quantization_api_doc.md
'
>
量化API文档
</a>
。
请参考
<a
href=
'
https://paddlepaddle.github.io/PaddleSlim/api_cn/quantization_api.html#quant-post
'
>
量化API文档
</a>
。
## 分类模型的离线量化流程
...
...
docs/zh_cn/api_cn/quantization_api.rst
浏览文件 @
6305bc93
...
...
@@ -51,15 +51,15 @@
- **weight_quantize_type(str)** - 参数量化方式。可选 ``'abs_max'`` , ``'channel_wise_abs_max'`` , ``'range_abs_max'`` , ``'moving_average_abs_max'`` 。如果使用 ``TensorRT`` 加载量化后的模型来预测,请使用 ``'channel_wise_abs_max'`` 。 默认 ``'channel_wise_abs_max'`` 。
- **activation_quantize_type(str)** - 激活量化方式,可选 ``'abs_max'`` , ``'range_abs_max'`` , ``'moving_average_abs_max'`` 。如果使用 ``TensorRT`` 加载量化后的模型来预测,请使用 ``'range_abs_max', 'moving_average_abs_max'`` 。,默认 ``'moving_average_abs_max'`` 。
- **weight_bits(int)** - 参数量化bit数,默认8,
推荐设为8
。
- **activation_bits(int)** - 激活量化bit数,默认8,
推荐设为8
。
- **weight_bits(int)** - 参数量化bit数,默认8,
可选1-8,推荐设为8,因为量化后的数据类型是 ``int8``
。
- **activation_bits(int)** - 激活量化bit数,默认8,
可选1-8,推荐设为8,因为量化后的数据类型是 ``int8``
。
- **not_quant_pattern(str | list[str])** - 所有 ``name_scope`` 包含 ``'not_quant_pattern'`` 字符串的 op ,都不量化, 设置方式请参考 `fluid.name_scope <https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/fluid_cn/name_scope_cn.html#name-scope>`_ 。
- **quantize_op_types(list[str])** - 需要进行量化的 op 类型,目前支持 ``'conv2d', 'depthwise_conv2d', 'mul'`` 。
- **dtype(int8)** - 量化后的参数类型,默认 ``int8`` , 目前仅支持 ``int8`` 。
- **window_size(int)** - ``'range_abs_max'`` 量化方式的 ``window size`` ,默认10000。
- **moving_rate(int)** - ``'moving_average_abs_max'`` 量化方式的衰减系数,默认 0.9。
- **for_tensorrt(bool)** - 量化后的模型是否使用 ``TensorRT`` 进行预测。如果是的话,量化op类型为: ``TENSORRT_OP_TYPES`` 。默认值为False.
- **is_full_quantize(bool)** - 是否量化所有可支持op类型。默认值为False.
- **is_full_quantize(bool)** - 是否量化所有可支持op类型。
可量化op为 ``TRANSFORM_PASS_OP_TYPES + QUANT_DEQUANT_PASS_OP_TYPES`` 。
默认值为False.
.. :note::
...
...
@@ -195,11 +195,11 @@ quant_post
- **scope(fluid.Scope, optional)** - 用来获取和写入 ``Variable`` , 如果设置为 ``None`` ,则使用 `fluid.global_scope() <https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/api_cn/executor_cn/global_scope_cn.html>`_ . 默认值是 ``None`` .
- **algo(str)** - 量化时使用的算法名称,可为 ``'KL'`` 或者 ``'direct'`` 。该参数仅针对激活值的量化,因为参数值的量化使用的方式为 ``'channel_wise_abs_max'`` . 当 ``algo`` 设置为 ``'direct'`` 时,使用校正数据的激活值的绝对值的最大值当作 ``Scale`` 值,当设置为 ``'KL'`` 时,则使用KL散度的方法来计算 ``Scale`` 值。默认值为 ``'KL'`` 。
- **quantizable_op_type(list[str])** - 需要量化的 op 类型列表。默认值为 ``["conv2d", "depthwise_conv2d", "mul"]`` 。
- **is_full_quantize(bool)** - 是否量化所有可支持的op类型。如果设置为False, 则按照 ``'quantizable_op_type'`` 的设置进行量化。
- **weight_bits(int)** - weight的量化比特位数。
- **activation_bits(int)** - 激活值的量化比特位数。
- **is_use_cache_file(bool)** - 是否使用硬盘对中间结果进行存储。如果为False, 则将中间结果存储在内存中。
- **cache_dir(str)** - 如果 ``'is_use_cache_file'`` 为True, 则将中间结果存储在此参数设置的路径下。
- **is_full_quantize(bool)** - 是否量化所有可支持的op类型。如果设置为False, 则按照 ``'quantizable_op_type'`` 的设置进行量化。
如果设置为True, 则按照 `量化配置 <#id2>`_ 中 ``QUANT_DEQUANT_PASS_OP_TYPES + QUANT_DEQUANT_PASS_OP_TYPES`` 定义的op进行量化。
- **weight_bits(int)** - weight的量化比特位数
, 默认值为8
。
- **activation_bits(int)** - 激活值的量化比特位数
, 默认值为8
。
- **is_use_cache_file(bool)** - 是否使用硬盘对中间结果进行存储。如果为False, 则将中间结果存储在内存中。
默认值为False。
- **cache_dir(str)** - 如果 ``'is_use_cache_file'`` 为True, 则将中间结果存储在此参数设置的路径下。
默认值为 ``./temp_post_training`` 。
**返回**
...
...
@@ -295,4 +295,4 @@ fluid.Program
config = {'params_name': 'emb', 'quantize_type': 'abs_max'}
quant_program = quant.quant_embedding(infer_program, place, config)
更详细的用法请参考 `Embedding量化demo <https://github.com/PaddlePaddle/PaddleSlim/tree/develop/demo/quant/quant_embedding
'
>`_
更详细的用法请参考 `Embedding量化demo <https://github.com/PaddlePaddle/PaddleSlim/tree/develop/demo/quant/quant_embedding>`_
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录