Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
TonyTonyFun
Paddle
提交
b1bd483a
P
Paddle
项目概览
TonyTonyFun
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
b1bd483a
编写于
5月 27, 2019
作者:
K
Krzysztof Binias
提交者:
tensor-tang
5月 27, 2019
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
[NGraph] Enable gelu operator for the nGraph Bridge. (#17547)
test=develop
上级
8bd651b7
变更
2
显示空白变更内容
内联
并排
Showing
2 changed file
with
49 addition
and
1 deletion
+49
-1
paddle/fluid/operators/ngraph/ops/activation_op.h
paddle/fluid/operators/ngraph/ops/activation_op.h
+48
-0
python/paddle/fluid/tests/unittests/ngraph/test_activation_ngraph_op.py
...fluid/tests/unittests/ngraph/test_activation_ngraph_op.py
+1
-1
未找到文件。
paddle/fluid/operators/ngraph/ops/activation_op.h
浏览文件 @
b1bd483a
...
...
@@ -26,6 +26,52 @@ namespace paddle {
namespace
operators
{
namespace
ngraphs
{
void
BuildGeluNode
(
const
std
::
shared_ptr
<
framework
::
OperatorBase
>&
op
,
std
::
shared_ptr
<
std
::
unordered_map
<
std
::
string
,
std
::
shared_ptr
<
ngraph
::
Node
>>>
ngb_node_map
)
{
auto
input
=
platform
::
GetInputNode
(
op
,
"X"
,
ngb_node_map
);
auto
half
=
paddle
::
platform
::
CreateConstant
(
input
->
get_element_type
(),
input
->
get_shape
(),
{
0.5
});
auto
one
=
paddle
::
platform
::
CreateConstant
(
input
->
get_element_type
(),
input
->
get_shape
(),
{
1
});
auto
sqrt_two
=
std
::
make_shared
<
ngraph
::
op
::
Sqrt
>
(
paddle
::
platform
::
CreateConstant
(
input
->
get_element_type
(),
input
->
get_shape
(),
{
2
}));
auto
out
=
half
*
input
*
(
one
+
std
::
make_shared
<
ngraph
::
op
::
Erf
>
(
input
/
sqrt_two
));
platform
::
SetOutputNode
(
op
,
"Out"
,
out
,
ngb_node_map
);
}
void
BuildGeluGradNode
(
const
std
::
shared_ptr
<
framework
::
OperatorBase
>&
op
,
std
::
shared_ptr
<
std
::
unordered_map
<
std
::
string
,
std
::
shared_ptr
<
ngraph
::
Node
>>>
ngb_node_map
)
{
auto
input
=
platform
::
GetInputNode
(
op
,
"X"
,
ngb_node_map
);
auto
dout
=
platform
::
GetInputNode
(
op
,
"Out@GRAD"
,
ngb_node_map
);
auto
half
=
paddle
::
platform
::
CreateConstant
(
input
->
get_element_type
(),
input
->
get_shape
(),
{
0.5
});
auto
minus_half
=
paddle
::
platform
::
CreateConstant
(
input
->
get_element_type
(),
input
->
get_shape
(),
{
-
0.5
});
auto
one
=
paddle
::
platform
::
CreateConstant
(
input
->
get_element_type
(),
input
->
get_shape
(),
{
1
});
auto
two
=
paddle
::
platform
::
CreateConstant
(
input
->
get_element_type
(),
input
->
get_shape
(),
{
2
});
auto
pi
=
paddle
::
platform
::
CreateConstant
(
input
->
get_element_type
(),
input
->
get_shape
(),
{
3.14159265359
});
auto
sqrt_two
=
std
::
make_shared
<
ngraph
::
op
::
Sqrt
>
(
two
);
auto
sqrt_pi
=
std
::
make_shared
<
ngraph
::
op
::
Sqrt
>
(
pi
);
auto
first
=
half
*
(
one
+
std
::
make_shared
<
ngraph
::
op
::
Erf
>
(
input
*
one
/
sqrt_two
));
auto
second
=
half
*
(
two
/
sqrt_pi
)
*
(
one
/
sqrt_two
)
*
input
*
std
::
make_shared
<
ngraph
::
op
::
Exp
>
(
minus_half
*
input
*
input
);
auto
gelu_grad
=
dout
*
(
first
+
second
);
platform
::
SetOutputNode
(
op
,
"X@GRAD"
,
gelu_grad
,
ngb_node_map
);
}
void
BuildReluGradNode
(
const
std
::
shared_ptr
<
framework
::
OperatorBase
>&
op
,
std
::
shared_ptr
<
...
...
@@ -64,6 +110,8 @@ void BuildTanhGradNode(
}
// namespace operators
}
// namespace paddle
REGISTER_NG_OP
(
gelu
,
BuildGeluNode
);
REGISTER_NG_OP
(
gelu_grad
,
BuildGeluGradNode
);
REGISTER_NG_OP
(
relu_grad
,
BuildReluGradNode
);
REGISTER_NG_OP
(
square
,
BuildSquareNode
);
REGISTER_NG_OP
(
tanh_grad
,
BuildTanhGradNode
);
python/paddle/fluid/tests/unittests/ngraph/test_activation_ngraph_op.py
浏览文件 @
b1bd483a
...
...
@@ -18,7 +18,7 @@ import unittest
import
numpy
as
np
import
paddle.fluid.core
as
core
from
paddle.fluid.tests.unittests.op_test
import
OpTest
from
paddle.fluid.tests.unittests.test_activation_op
import
TestAbs
,
TestSigmoid
,
TestSquare
,
TestRelu
,
TestTanh
from
paddle.fluid.tests.unittests.test_activation_op
import
TestAbs
,
Test
Gelu
,
Test
Sigmoid
,
TestSquare
,
TestRelu
,
TestTanh
class
TestNGRAPHReluDim4
(
TestRelu
):
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录