Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
TonyTonyFun
Paddle
提交
0c968b9d
P
Paddle
项目概览
TonyTonyFun
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
0c968b9d
编写于
4月 06, 2022
作者:
F
feng_shuai
提交者:
GitHub
4月 06, 2022
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add div plugin and add filter (#41243)
上级
2de82224
变更
2
显示空白变更内容
内联
并排
Showing
2 changed file
with
25 addition
and
4 deletion
+25
-4
paddle/fluid/inference/tensorrt/op_teller.cc
paddle/fluid/inference/tensorrt/op_teller.cc
+8
-0
paddle/fluid/inference/tensorrt/plugin/elementwise_op_plugin.cu
.../fluid/inference/tensorrt/plugin/elementwise_op_plugin.cu
+17
-4
未找到文件。
paddle/fluid/inference/tensorrt/op_teller.cc
浏览文件 @
0c968b9d
...
...
@@ -1007,6 +1007,14 @@ bool OpTeller::Tell(const framework::ir::Node* node, bool use_no_calib_int8,
auto
*
y_var_desc
=
block
->
FindVar
(
desc
.
Input
(
"Y"
)[
0
]);
const
auto
x_shape
=
x_var_desc
->
GetShape
();
const
auto
y_shape
=
y_var_desc
->
GetShape
();
if
(
op_type
==
"elementwise_add"
&&
y_var_desc
->
Persistable
())
{
if
(
y_shape
.
size
()
!=
1
)
{
return
false
;
}
if
(
y_shape
[
0
]
!=
x_shape
[
1
])
{
return
false
;
}
}
if
(
x_shape
.
size
()
==
1
&&
y_shape
.
size
()
==
1
)
{
VLOG
(
3
)
<<
"Now trt may not support two 1d tensor elementwise op."
;
return
false
;
...
...
paddle/fluid/inference/tensorrt/plugin/elementwise_op_plugin.cu
浏览文件 @
0c968b9d
...
...
@@ -30,6 +30,11 @@ template <typename T>
struct
Mul
{
__device__
T
operator
()(
const
T
&
a
,
const
T
&
b
)
const
{
return
a
*
b
;
}
};
template
<
typename
T
>
struct
Div
{
__device__
T
operator
()(
const
T
&
a
,
const
T
&
b
)
const
{
return
a
/
b
;
}
};
}
// namespace details
template
<
typename
T
,
typename
Operator
>
...
...
@@ -130,6 +135,10 @@ int ElementWisePlugin::enqueue(int batch_size, const void *const *inputs,
elementwise_kernel
<<<
block
,
thread
,
0
,
stream
>>>
(
num
,
x
,
y
,
out
,
prev_size_
,
batch_size
*
midd_size_
,
post_size_
,
details
::
Mul
<
float
>
());
}
else
if
(
type_
==
"div"
)
{
elementwise_kernel
<<<
block
,
thread
,
0
,
stream
>>>
(
num
,
x
,
y
,
out
,
prev_size_
,
batch_size
*
midd_size_
,
post_size_
,
details
::
Div
<
float
>
());
}
else
{
PADDLE_THROW
(
platform
::
errors
::
Fatal
(
"The %s type elementwise is not implemented in trt plugin."
,
type_
));
...
...
@@ -242,9 +251,13 @@ int ElementwisePluginDynamic::enqueue(
}
else
if
(
type_
==
"mul"
)
{
elementwise_kernel
<<<
block
,
thread
,
0
,
stream
>>>
(
num
,
x
,
y
,
out
,
prev_size
,
midd_size
,
post_size
,
details
::
Mul
<
float
>
());
}
else
if
(
type_
==
"div"
)
{
elementwise_kernel
<<<
block
,
thread
,
0
,
stream
>>>
(
num
,
x
,
y
,
out
,
prev_size
,
midd_size
,
post_size
,
details
::
Div
<
float
>
());
}
else
{
PADDLE_THROW
(
platform
::
errors
::
Unimplemented
(
"Paddle-TRT only support elementwise operation: {add, mul} currently, "
PADDLE_THROW
(
platform
::
errors
::
Unimplemented
(
"Paddle-TRT only support elementwise "
"operation: {add, mul, div} currently, "
"but got %s."
,
type_
));
}
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录