Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
机器未来
Paddle
提交
c1a68707
P
Paddle
项目概览
机器未来
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
1
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
1
Issue
1
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
c1a68707
编写于
12月 16, 2017
作者:
T
tensor-tang
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
follow comments and refine doc
上级
3f2fa0a1
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
3 addition
and
3 deletion
+3
-3
doc/design/mkl/mkl_packed.md
doc/design/mkl/mkl_packed.md
+3
-3
未找到文件。
doc/design/mkl/mkl_packed.md
浏览文件 @
c1a68707
...
...
@@ -22,7 +22,7 @@
## Key Points
### Background
目前PaddlePaddle采用了 Intel® MKL库的
cblas_?gemm
函数,这个函数本身会在计算前将原数据转换为更适合英特尔平台的内部格式。
目前PaddlePaddle采用了 Intel® MKL库的
[
cblas_?gemm
](
https://software.intel.com/en-us/mkl-developer-reference-c-cblas-gemm
)
函数,这个函数本身会在计算前将原数据转换为更适合英特尔平台的内部格式。
1.
转换耗时
\
这一数据格式的转换操作(Packing),在问题本身的计算量比较小的时候,显得相对来说较为耗时。例如在DeepSpeech2
\[
[
2
](
#references
)
\]
的Vanilla RNN部分中,矩阵大小是
`batch_size * 2048`
。
...
...
@@ -38,9 +38,9 @@
通过使用这些API,我们可以先完成对原数据的Packing操作,再把已转换为Packed格式的数据传递给那些复用同一数据的gemm_compute函数,从而避免了Packing冗余。
### Solution
在RNN的情况下,同一次
**前向/后向**
(forward/backward)过程中所有
**时间步**
(time step)共享同一个
**权重**
(weight)。当只做
**预测**
(inference)时,各次
**前向**
之间也都使用了相同的
**权重**
,没有必要在每次
**前向**
中每个
**时间步**
的计算时对
**权重**
进行重复的Packing操作。
在RNN的情况下,同一次
前向、后向(forward/backward)过程中所有时间步(time step)共享同一个权重(weight)。当只做推断(inference)时,各次前向之间也都使用了相同的权重,没有必要在每次前向中每个时间步的计算时对权重
进行重复的Packing操作。
我们通过使用新引入的GEMM Packed APIs,在层
**初始化**
的时时候,先完成对
**权重**
的Packing操作,然后在
**前向/后向**
时复用已经转换过的
**权重**
,并在每次
**权重**
更新后,对新的
**权重**
进行转换用于下次迭代。
我们通过使用新引入的GEMM Packed APIs,在层
初始化的时候,先完成对权重的Packing操作,然后在前向,后向时复用已经转换过的权重,并在每次权重更新后,对新的权重
进行转换用于下次迭代。
*
优化前,对于序列长度(sequence length)为
`T`
的网络模型(model),
`N`
次迭代执行的转换次数为:
-
`inference`
:
`N * T`
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录