Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
wmsofts
Paddle
提交
6578da51
P
Paddle
项目概览
wmsofts
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
6578da51
编写于
1月 11, 2023
作者:
W
Wangzheee
提交者:
GitHub
1月 11, 2023
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix qk bias for multihead (#49702)
上级
2bb28f31
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
4 addition
and
3 deletion
+4
-3
paddle/fluid/inference/tensorrt/convert/multihead_matmul_op.cc
...e/fluid/inference/tensorrt/convert/multihead_matmul_op.cc
+4
-3
未找到文件。
paddle/fluid/inference/tensorrt/convert/multihead_matmul_op.cc
浏览文件 @
6578da51
...
...
@@ -131,12 +131,13 @@ class MultiheadMatMulOpConverter : public OpConverter {
step_dims
.
d
[
3
]
=
1
;
auto
*
shape_tensor
=
Shape
(
bias_qk_tensor
);
// (b,
n,m,m) -> (b,1,m,1
)
// (b,
*,*,m) -> (b,1,1,m
)
std
::
vector
<
nvinfer1
::
ITensor
*>
size_vec_tensor
;
size_vec_tensor
.
push_back
(
GetEleTensorOfShape
(
shape_tensor
,
0
));
size_vec_tensor
.
push_back
(
Add1DConstantLayer
(
1
));
size_vec_tensor
.
push_back
(
GetEleTensorOfShape
(
shape_tensor
,
2
));
size_vec_tensor
.
push_back
(
Add1DConstantLayer
(
1
));
size_vec_tensor
.
push_back
(
GetEleTensorOfShape
(
shape_tensor
,
3
));
auto
*
size_tensor
=
Concat
(
size_vec_tensor
);
auto
*
slice_layer
=
TRT_ENGINE_ADD_LAYER
(
engine_
,
Slice
,
...
...
@@ -163,7 +164,7 @@ class MultiheadMatMulOpConverter : public OpConverter {
TRT_ENGINE_ADD_LAYER
(
engine_
,
Identity
,
*
not_layer
->
getOutput
(
0
));
cast_layer_1
->
setOutputType
(
0
,
nvinfer1
::
DataType
::
kINT32
);
// Calculate the number of 1 : (b,1,
m,1
) -> (b)
// Calculate the number of 1 : (b,1,
1,m
) -> (b)
uint32_t
reduce_dim_0
=
0
;
reduce_dim_0
|=
1
<<
1
;
// 00000000000000000000000000000010
reduce_dim_0
|=
1
<<
2
;
// 00000000000000000000000000000110
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录