Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
Paddle
提交
6405438b
P
Paddle
项目概览
PaddlePaddle
/
Paddle
1 年多 前同步成功
通知
2302
Star
20931
Fork
5422
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
1423
列表
看板
标记
里程碑
合并请求
543
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
1,423
Issue
1,423
列表
看板
标记
里程碑
合并请求
543
合并请求
543
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
6405438b
编写于
7年前
作者:
T
tensor-tang
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
change some names and refine
上级
6ee16af1
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
55 addition
and
54 deletion
+55
-54
doc/design/mkldnn/README.MD
doc/design/mkldnn/README.MD
+55
-54
未找到文件。
doc/design/mkldnn/README.MD
浏览文件 @
6405438b
...
@@ -4,106 +4,107 @@
...
@@ -4,106 +4,107 @@
我们短期内的基本目标是:
我们短期内的基本目标是:
-
完成常用layer的MKLDNN实现。
-
完成常用layer的MKL
-
DNN实现。
-
完成常见深度神经网络VGG,GoogLeNet 和 ResNet的MKLDNN实现。
-
完成常见深度神经网络VGG,GoogLeNet 和 ResNet的MKL
-
DNN实现。
## Contents
## Contents
-
[
Over
all
](
#overall
)
-
[
Over
view
](
#overview
)
-
[
Details
](
#detail
s
)
-
[
Actions
](
#action
s
)
-
[
C
m
ake
](
#cmake
)
-
[
C
M
ake
](
#cmake
)
-
[
Layer
](
#layer
)
-
[
Layer
s
](
#layers
)
-
[
Activation
](
#activation
)
-
[
Activation
s
](
#activations
)
-
[
Unit Test
](
#unit-test
)
-
[
Unit Test
s
](
#unit-tests
)
-
[
Proto
](
#proto
)
-
[
Proto
buf Messages
](
#protobuf-messages
)
-
[
Python API
](
#python-api
)
-
[
Python API
](
#python-api
)
-
[
Demo
](
#demo
)
-
[
Demo
s
](
#demos
)
-
[
Benchmark
](
#benchmark
)
-
[
Benchmark
ing
](
#benchmarking
)
-
[
Others
](
#others
)
-
[
Others
](
#others
)
-
[
KeyPoints
](
#keypoint
s
)
-
[
Design Concerns
](
#design-concern
s
)
## Over
all
## Over
view
我们会把MKLDNN作为第三方库集成进PaddlePaddle,整体框架图
我们会把MKL
-
DNN作为第三方库集成进PaddlePaddle,整体框架图
<div
align=
"center"
>
<div
align=
"center"
>
<img
src=
"image/overview.png"
width=
350
><br/>
<img
src=
"image/overview.png"
width=
350
><br/>
Figure 1. PaddlePaddle on IA.
Figure 1. PaddlePaddle on IA.
</div>
</div>
##
Detail
s
##
Action
s
我们把集成方案大致分为了如下几个方面。
我们把集成方案大致分为了如下几个方面。
### C
m
ake
### C
M
ake
我们会在
`CMakeLists.txt`
中会添加
`WITH_MKLDNN`
的选项,当设置这个值为
`ON`
的时候会启用编译MKL
DNN功能。同时会自动开启
`OpenMP`
用于提高MKL
DNN的性能。
我们会在
`CMakeLists.txt`
中会添加
`WITH_MKLDNN`
的选项,当设置这个值为
`ON`
的时候会启用编译MKL
-DNN功能。同时会自动开启OpenMP用于提高MKL-
DNN的性能。
为了让PaddlePaddle更好的发挥MKLDNN的性能,我们还会引入
`WITH_MKLML`
的选项,用于选择是否用MKLDNN自带的MKLML的安装包。这个安装包可以独立于MKLDNN使用,但是建议在开启MKL
DNN的同时也打开MKLML的开关,这样才能发挥最好的性能。
同时,我们会引入
`WITH_MKLML`
选项,用于选择是否使用MKL-DNN自带的MKLML安装包。这个安装包可以独立于MKL-DNN使用,但是建议在开启MKL-
DNN的同时也打开MKLML的开关,这样才能发挥最好的性能。
所以,我们会在
`cmake
\external`
新建
`MKLDNN.cmake`
和
`MKLML.cmake`
文件,并作为第三方库安装
到PaddlePaddle的third party目录中。
所以,我们会在
`cmake
/external`
目录新建
`mkldnn.cmake`
和
`mklml.cmake`
文件,它们会在编译PaddlePaddle的时候下载对应的软件包,并放
到PaddlePaddle的third party目录中。
**备注**
:当
`WITH_MKLML=ON`
的时候,会优先使用这个包作为PaddlePaddle的C
blas和Lapack库,所以会稍微改动
`cmake\
cblas.cmake`
中的逻辑。
**备注**
:当
`WITH_MKLML=ON`
的时候,会优先使用这个包作为PaddlePaddle的C
BLAS和LAPACK库,所以会稍微改动
`cmake/
cblas.cmake`
中的逻辑。
### Layer
### Layer
s
所有
的layer相关的C++代码,都会在
按照PaddlePaddle的目录结构存放在
所有
MKL-DNN相关的C++ layers,都会
按照PaddlePaddle的目录结构存放在
`paddle
\gserver\layers`
中,文件名
以
*Mkldnn*
开头。
`paddle
/gserver/layers`
中,并且文件名都会一
以
*Mkldnn*
开头。
所有MKL
DNN的Layer都会继承于一个MKLDNN的父类layer,这个父类mkldnnlayer继承于Paddle的基类layer
。
所有MKL
-DNN的layers都会继承于一个叫做
`MkldnnLayer`
的父类,该父类继承于PaddlePaddle的基类
`Layer`
。
### Activation
### Activation
s
由于在PaddlePaddle中,激活函数是独立于layer概念的,所以会在
`paddle
\gserver\activations`
目录下添加一个
`MkldnnActivation.h`
文件定义一些用于MKLDNN的接口,实现方法还是在
`ActivationFunction.cpp`
里面
由于在PaddlePaddle中,激活函数是独立于layer概念的,所以会在
`paddle
/gserver/activations`
目录下添加一个
`MkldnnActivation.h`
文件定义一些用于MKL-DNN的接口,实现方法还是会在
`ActivationFunction.cpp`
文件。
### Unit Test
### Unit Test
s
会在
`paddle
\gserver\test`
目录下添加
`test_Mkldnn.cpp`
和
`MkldnnTester.*`
用于mkldnn
的测试。
会在
`paddle
/gserver/test`
目录下添加
`test_Mkldnn.cpp`
和
`MkldnnTester.*`
用于MKL-DNN
的测试。
Activation的测试,计划在Paddle
原有的测试文件上直接添加
测试type。
Activation的测试,计划在Paddle
Paddle原有的测试文件上直接添加新的
测试type。
### Proto
### Proto
buf Messages
根据具体layer的需求可能会在
`proto
\
ModelConfig.proto`
里面添加必要的选项。
根据具体layer的需求可能会在
`proto
/
ModelConfig.proto`
里面添加必要的选项。
### Python API
### Python API
目前只考虑
**v1 API**
。
目前只考虑
**v1 API**
。
计划在
`python/paddle/trainer/config_parser.py`
里面添加
`use_mkldnn`
这个选择,方便
user选择使用mkldnn
的layers。
计划在
`python/paddle/trainer/config_parser.py`
里面添加
`use_mkldnn`
这个选择,方便
用户选择使用MKL-DNN
的layers。
具体实现方式比如:
具体实现方式比如:
```
python
use_mkldnn = bool(int(g_command_config_args.get("use_mkldnn", 0)))
use_mkldnn
=
bool
(
int
(
g_command_config_args
.
get
(
"use_mkldnn"
,
0
)))
if use_mkldnn
if
use_mkldnn
self
.
layer_type
=
mkldnn_
*
self
.
layer_type
=
mkldnn_
*
```
所有
mkldnn的type会以"mkldnn_"
开头,以示区分。
所有
MKL-DNN的layer type会以
*mkldnn_*
开头,以示区分。
并且可能在
`python/paddle/trainer_config_helper`
目录下的
`activations.py `
和
`layers.py`
里面添加必要的
mkldnn
的接口。
并且可能在
`python/paddle/trainer_config_helper`
目录下的
`activations.py `
和
`layers.py`
里面添加必要的
MKL-DNN
的接口。
### Demo
### Demo
s
会在
`v1_api_demo`
目录下添加一个
`mkldnn`
的文件夹,里面放入一些用于
mkldnn
测试的demo脚本。
会在
`v1_api_demo`
目录下添加一个
`mkldnn`
的文件夹,里面放入一些用于
MKL-DNN
测试的demo脚本。
### Benchmark
### Benchmark
ing
会考虑添加部分逻辑在
`benchmark
\paddle\image\run.sh`
,添加使用mkldnn
的测试。
会考虑添加部分逻辑在
`benchmark
/paddle/image/run.sh`
,添加使用MKL-DNN
的测试。
### Others
### Others
1.
如果在使用MKLDNN的情况下,会把CPU的Buffer对齐为64。
1.
如果在使用MKL
-
DNN的情况下,会把CPU的Buffer对齐为64。
2.
深入PaddlePaddle,寻找有没有其他可以优化的可能,进一步优化。比如可能会用
`OpenMP`
改进SGD的更新性能。
2.
深入PaddlePaddle,寻找有没有其他可以优化的可能,进一步优化。比如可能会用
OpenMP
改进SGD的更新性能。
##
KeyPoint
s
##
Design Concern
s
为了更好的符合PaddlePaddle的代码风格
\[
[
2
](
#references
)
\]
,同时又尽可能少的牺牲MKLDNN的性能
\[
[
3
](
#references
)
\]
。
为了更好的符合PaddlePaddle的代码风格
\[
[
2
](
#references
)
\]
,同时又尽可能少的牺牲MKL
-
DNN的性能
\[
[
3
](
#references
)
\]
。
我们总结出一些特别需要注意的点:
我们总结出一些特别需要注意的点:
1.
使用
**deviceId_**
。为了尽可能少的在父类Layer中添加变量或者函数,我们决定使用已有的
`deviceId_`
变量来区分layer的属性,定义
`-2`
为
**MkldnnLayer**
特有的设备ID。
1.
使用
**deviceId_**
。为了尽可能少的在父类Layer中添加变量或者函数,我们决定使用已有的
`deviceId_`
变量来区分layer的属性,定义
`-2`
为
`MkldnnLayer`
特有的设备ID。
2.
重写父类Layer的
**init**
函数,修改
`deviceId_`
为
`-2`
,代表这个layer是用于跑在MKLDNN的环境下。
2.
重写父类Layer的
**init**
函数,修改
`deviceId_`
为
`-2`
,代表这个layer是用于跑在MKL
-
DNN的环境下。
3.
创建
**MkldnnMatrix**
,用于管理MKL
DNN会用到的相关memory函数、接口以及会用的到格式信息。
3.
创建
`MkldnnMatrix`
,用于管理MKL-
DNN会用到的相关memory函数、接口以及会用的到格式信息。
4.
创建
**MkldnnBase**
,定义一些除了layer和memory相关的类和函数。包括MKLDNN会用到Stream和CpuEngine,和未来可能还会用到FPGAEngine
等。
4.
创建
`MkldnnBase`
,定义一些除了layer和memory相关的类和函数。包括MKL-DNN会用到
`MkldnnStream`
和
`CpuEngine`
,和未来可能还会用到
`FPGAEngine`
等。
5.
在
**Argument**
里添加两个
MkldnnMatrixPtr,取名为mkldnnValue和mkldnnGrad,用于存放MkldnnLayer会用到的memory buffer。 并且添加函数cvt(会修改为一个更加合适的函数名),用于处理"CPU device"和"MKL
DNN device"之间memory的相互转化。
5.
在
**Argument**
里添加两个
`MkldnnMatrixPtr`
,取名为
`mkldnnValue`
和
`mkldnnGrad`
,用于存放
`MkldnnLayer`
会用到的memory buffer。 并且添加函数cvt(会修改为一个更加合适的函数名),用于处理"CPU device"和"MKL-
DNN device"之间memory的相互转化。
6.
在父类
Layer中的
**getOutput**
函数中添加一段逻辑,用于判断
`deviceId`
,并针对device在MKL
DNN和CPU之间不统一的情况,做一个前期转换。 也就是调用
`Argument`
的cvt函数把output统一到需要的device上。
6.
在父类
`Layer`
中的
`getOutput`
函数中添加一段逻辑,用于判断
`deviceId`
,并针对device在MKL-
DNN和CPU之间不统一的情况,做一个前期转换。 也就是调用
`Argument`
的cvt函数把output统一到需要的device上。
7.
在原来的
`FLAGS`
中添加一个
`use_mkldnn`
的flag,用于选择是否使用MKLDNN的相关功能。
7.
在原来的
`FLAGS`
中添加一个
`use_mkldnn`
的flag,用于选择是否使用MKL
-
DNN的相关功能。
## References
## References
1.
[
Intel Math Kernel Library for Deep Neural Networks (Intel MKL-DNN)
](
https://github.com/01org/mkl-dnn
"Intel MKL-DNN"
)
1.
[
Intel Math Kernel Library for Deep Neural Networks (Intel MKL-DNN)
](
https://github.com/01org/mkl-dnn
"Intel MKL-DNN"
)
2.
[
原来的方案
](
https://github.com/PaddlePaddle/Paddle/pull/3096
)
会引入
**nextLayer**
的信息。但是在PaddlePaddle中,无论是重构前的layer还是重构后的op,都不会想要知道next layer/op的信息。
2.
[
原来的方案
](
https://github.com/PaddlePaddle/Paddle/pull/3096
)
会引入
**nextLayer**
的信息。但是在PaddlePaddle中,无论是重构前的layer还是重构后的op,都不会想要知道next layer/op的信息。
3.
MKL
DNN的高性能格式与PaddlePaddle原有的
`NCHW`
不同(PaddlePaddle中的cudnn部分使用的也是
`NCHW`
,所以不存在这个问题),所以需要引入一个转换方法,并且只需要在必要的时候转换这种格式,才能更好的发挥MKL
DNN的性能。
3.
MKL
-DNN的高性能格式与PaddlePaddle原有的
`NCHW`
不同(PaddlePaddle中的CUDNN部分使用的也是
`NCHW`
,所以不存在这个问题),所以需要引入一个转换方法,并且只需要在必要的时候转换这种格式,才能更好的发挥MKL-
DNN的性能。
This diff is collapsed.
Click to expand it.
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录
新手
引导
客服
返回
顶部