Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
ujs_wantz
Paddle
提交
c42cbb14
P
Paddle
项目概览
ujs_wantz
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
1
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
1
Issue
1
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
c42cbb14
编写于
8月 08, 2022
作者:
Z
zhangkaihuo
提交者:
GitHub
8月 08, 2022
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
BN1D inference support large batch_size (#44977)
上级
e8de9dfd
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
55 addition
and
19 deletion
+55
-19
paddle/phi/kernels/gpu/batch_norm_kernel.cu
paddle/phi/kernels/gpu/batch_norm_kernel.cu
+55
-19
未找到文件。
paddle/phi/kernels/gpu/batch_norm_kernel.cu
浏览文件 @
c42cbb14
...
...
@@ -691,6 +691,9 @@ void BatchNormKernel(const Context &ctx,
auto
handle
=
ctx
.
cudnn_handle
();
const
size_t
CUDNN_PER_ACTIVATION_THRESHOLD
=
10240
;
const
size_t
CUDNN_SPATIAL_THRESHOLD
=
880801
;
// Now, depending on whether we are running test or not, we have two paths.
// It is training mode when it's not reference AND not using pre-trained
// model.
...
...
@@ -793,6 +796,40 @@ void BatchNormKernel(const Context &ctx,
// est_var->template data<BatchNormParamType<T>>())),
// epsilon));
#else
const
bool
use_native_kernel
=
((
x_dims
.
size
()
==
2
&&
N
>=
CUDNN_PER_ACTIVATION_THRESHOLD
)
||
(
x_dims
.
size
()
==
3
&&
N
>=
CUDNN_SPATIAL_THRESHOLD
));
if
(
use_native_kernel
)
{
const
int
block_size
=
256
;
const
int
grid_size
=
(
N
*
C
*
H
*
W
*
D
+
block_size
-
1
)
/
block_size
;
if
(
compute_format
==
DataLayout
::
kNCHW
)
{
BNForwardInference
<
T
,
DataLayout
::
kNCHW
>
<<<
grid_size
,
block_size
,
0
,
ctx
.
stream
()
>>>
(
transformed_x
.
template
data
<
T
>(),
est_mean
->
template
data
<
BatchNormParamType
<
T
>
>
(),
est_var
->
template
data
<
BatchNormParamType
<
T
>
>
(),
scale
.
template
data
<
BatchNormParamType
<
T
>
>
(),
bias
.
template
data
<
BatchNormParamType
<
T
>
>
(),
C
,
N
,
H
*
W
*
D
,
epsilon
,
transformed_y
.
template
data
<
T
>());
}
else
{
BNForwardInference
<
T
,
DataLayout
::
kNHWC
>
<<<
grid_size
,
block_size
,
0
,
ctx
.
stream
()
>>>
(
transformed_x
.
template
data
<
T
>(),
est_mean
->
template
data
<
BatchNormParamType
<
T
>
>
(),
est_var
->
template
data
<
BatchNormParamType
<
T
>
>
(),
scale
.
template
data
<
BatchNormParamType
<
T
>
>
(),
bias
.
template
data
<
BatchNormParamType
<
T
>
>
(),
C
,
N
,
H
*
W
*
D
,
epsilon
,
transformed_y
.
template
data
<
T
>());
}
}
else
{
PADDLE_ENFORCE_GPU_SUCCESS
(
paddle
::
platform
::
dynload
::
cudnnBatchNormalizationForwardInference
(
handle
,
...
...
@@ -810,6 +847,7 @@ void BatchNormKernel(const Context &ctx,
est_mean
->
template
data
<
BatchNormParamType
<
T
>
>
(),
est_var
->
template
data
<
BatchNormParamType
<
T
>
>
(),
epsilon
));
}
#endif
}
else
{
// if MomentumTensor is set, use MomentumTensor value, momentum
...
...
@@ -909,8 +947,6 @@ void BatchNormKernel(const Context &ctx,
// BatchNormParamType<T>>(ctx.GetPlace()))));
#else
// const size_t CUDNN_PER_ACTIVATION_THRESHOLD = 131070;
const
size_t
CUDNN_PER_ACTIVATION_THRESHOLD
=
10240
;
const
size_t
CUDNN_SPATIAL_THRESHOLD
=
880801
;
const
bool
use_native_kernel
=
((
x_dims
.
size
()
==
2
&&
N
>=
CUDNN_PER_ACTIVATION_THRESHOLD
)
||
(
x_dims
.
size
()
==
3
&&
N
>=
CUDNN_SPATIAL_THRESHOLD
));
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录