Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
OPTHREE
Paddle
提交
8c6fde9e
P
Paddle
项目概览
OPTHREE
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
1
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
1
Issue
1
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
8c6fde9e
编写于
3月 19, 2020
作者:
Z
Zhaolong Xing
提交者:
GitHub
3月 19, 2020
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix align error (#23090)
test=develop
上级
915b892a
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
4 addition
and
2 deletion
+4
-2
paddle/fluid/operators/fused/multihead_matmul_op.cu
paddle/fluid/operators/fused/multihead_matmul_op.cu
+4
-2
未找到文件。
paddle/fluid/operators/fused/multihead_matmul_op.cu
浏览文件 @
8c6fde9e
...
@@ -370,8 +370,10 @@ void TransQKVWithBias(const int batch, const int seq_len, const int head_size,
...
@@ -370,8 +370,10 @@ void TransQKVWithBias(const int batch, const int seq_len, const int head_size,
const
int
head_num
,
const
float
*
input
,
const
float
*
bias
,
const
int
head_num
,
const
float
*
input
,
const
float
*
bias
,
float
*
output
,
cudaStream_t
stream
)
{
float
*
output
,
cudaStream_t
stream
)
{
// BxSx3xNxH + 3xNxH -> 3xBxNxSxH
// BxSx3xNxH + 3xNxH -> 3xBxNxSxH
int
scratch_size
=
batch
*
head_num
*
seq_len
*
seq_len
;
const
dim3
grid
(
seq_len
,
batch
,
3
);
const
dim3
grid
(
seq_len
,
batch
,
3
);
if
(
head_size
%
4
==
0
)
{
// scratch % 4 == 0 to ensure the alignment
if
(
head_size
%
4
==
0
&&
scratch_size
%
4
==
0
)
{
const
int
h
=
head_size
/
4
;
const
int
h
=
head_size
/
4
;
const
float4
*
input4
=
reinterpret_cast
<
const
float4
*>
(
input
);
const
float4
*
input4
=
reinterpret_cast
<
const
float4
*>
(
input
);
const
float4
*
bias4
=
reinterpret_cast
<
const
float4
*>
(
bias
);
const
float4
*
bias4
=
reinterpret_cast
<
const
float4
*>
(
bias
);
...
@@ -385,7 +387,7 @@ void TransQKVWithBias(const int batch, const int seq_len, const int head_size,
...
@@ -385,7 +387,7 @@ void TransQKVWithBias(const int batch, const int seq_len, const int head_size,
head_num
,
head_size
,
1024
*
4
));
head_num
,
head_size
,
1024
*
4
));
transpose_qkv_kernel
<
float4
><<<
grid
,
block
,
0
,
stream
>>>
(
h
,
input4
,
bias4
,
transpose_qkv_kernel
<
float4
><<<
grid
,
block
,
0
,
stream
>>>
(
h
,
input4
,
bias4
,
output4
);
output4
);
}
else
if
(
head_size
%
2
==
0
)
{
}
else
if
(
head_size
%
2
==
0
&&
scratch_size
%
2
==
0
)
{
const
int
h
=
head_size
/
2
;
const
int
h
=
head_size
/
2
;
const
float2
*
input2
=
reinterpret_cast
<
const
float2
*>
(
input
);
const
float2
*
input2
=
reinterpret_cast
<
const
float2
*>
(
input
);
const
float2
*
bias2
=
reinterpret_cast
<
const
float2
*>
(
bias
);
const
float2
*
bias2
=
reinterpret_cast
<
const
float2
*>
(
bias
);
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录