Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
MegEngine 天元
MegEngine
提交
38a9aa9f
MegEngine
项目概览
MegEngine 天元
/
MegEngine
12 个月 前同步成功
通知
393
Star
4704
Fork
582
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
MegEngine
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
38a9aa9f
编写于
5月 16, 2022
作者:
M
Megvii Engine Team
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
feat(imperative/amp): add auto dimshuffle for elemwise and concat
GitOrigin-RevId: 6e3df4e064675fb1adeb85a72ea8e0b276a9660d
上级
cd263765
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
36 addition
and
5 deletion
+36
-5
imperative/python/test/unit/core/test_formatted_tensor.py
imperative/python/test/unit/core/test_formatted_tensor.py
+6
-2
imperative/src/impl/transformations/format.cpp
imperative/src/impl/transformations/format.cpp
+30
-3
未找到文件。
imperative/python/test/unit/core/test_formatted_tensor.py
浏览文件 @
38a9aa9f
...
...
@@ -193,7 +193,10 @@ def test_typecvt(is_symbolic):
@
pytest
.
mark
.
parametrize
(
"is_symbolic"
,
[
None
])
def
test_elemwise
(
is_symbolic
):
def
elemwise
(
x
):
return
(
x
*
2
+
x
/
2
).
numpy
()
tmp
=
F
.
ones
((
1
,
2
,
3
,
4
))
oup
=
x
*
tmp
+
x
/
2
assert
oup
.
format
==
x
.
format
return
oup
.
numpy
()
data
=
np
.
arange
(
0
,
24
).
reshape
((
1
,
2
,
3
,
4
))
_compare_nchw_nhwc
(
data
,
elemwise
,
is_symbolic
)
...
...
@@ -202,7 +205,8 @@ def test_elemwise(is_symbolic):
@
pytest
.
mark
.
parametrize
(
"is_symbolic"
,
[
None
])
def
test_concat
(
is_symbolic
):
def
func
(
x
):
rst
=
F
.
concat
([
x
/
2
,
x
*
2
],
axis
=
1
)
tmp
=
F
.
ones
((
1
,
2
,
3
,
4
))
rst
=
F
.
concat
([
x
/
2
,
tmp
],
axis
=
1
)
assert
rst
.
format
==
x
.
format
return
rst
.
numpy
()
...
...
imperative/src/impl/transformations/format.cpp
浏览文件 @
38a9aa9f
...
...
@@ -355,6 +355,33 @@ inline FT get_inputs_format(Span<ValueRef>& inputs, const FormatTransformation&
return
format
;
}
inline
ValueRefList
unify_nhwc_inputs
(
Span
<
ValueRef
>&
inputs
,
std
::
string
scope
,
const
FormatTransformation
&
t
)
{
ValueRefList
unified_inputs
(
inputs
.
size
());
for
(
size_t
i
=
0
;
i
<
inputs
.
size
();
++
i
)
{
auto
&&
inp
=
inputs
[
i
].
cast
(
t
.
value_type
());
if
(
inp
.
format
()
!=
FT
::
NHWC
&&
inp
.
value
().
shape
().
cast
<
ShapeValue
>
().
ndim
==
4
)
{
unified_inputs
[
i
]
=
t
.
to
(
*
t
.
as
(
inp
,
FT
::
NCHW
),
FT
::
NHWC
,
scope
);
}
else
{
unified_inputs
[
i
]
=
inputs
[
i
];
}
}
return
unified_inputs
;
}
ValueRefList
elemwise_rule
(
const
Elemwise
&
op
,
Span
<
ValueRef
>&
inputs
,
const
bool
&
auto_convert
,
const
FormatTransformation
&
t
)
{
FT
format
=
get_inputs_format
(
inputs
,
t
);
if
(
format
==
FT
::
NHWC
&&
auto_convert
)
{
auto
unified_inputs
=
unify_nhwc_inputs
(
inputs
,
op
.
scope
(),
t
);
return
t
.
wrap_outputs
(
imperative
::
apply
(
op
,
t
.
unwrap_inputs
(
unified_inputs
)),
format
);
}
return
t
.
wrap_outputs
(
imperative
::
apply
(
op
,
t
.
unwrap_inputs
(
inputs
)),
format
);
}
ValueRefList
concat_rule
(
const
Concat
&
op
,
Span
<
ValueRef
>&
inputs
,
const
bool
&
auto_convert
,
const
FormatTransformation
&
t
)
{
...
...
@@ -362,6 +389,7 @@ ValueRefList concat_rule(
if
(
!
(
format
==
FT
::
NHWC
&&
auto_convert
))
{
return
t
.
wrap_outputs
(
imperative
::
apply
(
op
,
t
.
unwrap_inputs
(
inputs
)),
format
);
}
auto
unified_inputs
=
unify_nhwc_inputs
(
inputs
,
op
.
scope
(),
t
);
// TODO: handle 5D NHWC Tensor from group conv
auto
axis
=
op
.
axis
;
if
(
axis
==
2
||
axis
==
3
)
{
...
...
@@ -372,7 +400,7 @@ ValueRefList concat_rule(
return
t
.
wrap_outputs
(
imperative
::
apply
(
*
Concat
::
make
(
axis
,
op
.
comp_node
,
op
.
scope
()),
t
.
unwrap_inputs
(
inputs
)),
t
.
unwrap_inputs
(
unified_
inputs
)),
format
);
}
...
...
@@ -415,7 +443,6 @@ ValueRefList adaptive_pooling_rule(
// clang-format off
#define FOREACH_MULTI_INPS_NO_PARAM_OP(cb) \
cb(Elemwise) \
cb(CompiledOp) \
cb(SubgraphOp)
...
...
@@ -501,6 +528,7 @@ struct FormatRuleRegistry {
register_format_rule
(
subtensor_rule
<
IndexingMultiAxisVec
>
);
register_format_rule
(
setsubtensor_rule
<
SetSubtensor
>
);
register_format_rule
(
setsubtensor_rule
<
IndexingSetMultiAxisVec
>
);
register_format_rule
(
elemwise_rule
);
register_format_rule
(
concat_rule
);
register_format_rule
(
batchnorm_rule
);
register_format_rule
(
adaptive_pooling_rule
);
...
...
@@ -515,7 +543,6 @@ struct FormatRuleRegistry {
ValueRefList
FormatTransformation
::
apply_transformation
(
const
Operator
&
op
,
Span
<
ValueRef
>
inputs
)
{
// mgb_log_warn("Format::apply_transformation %s", op.to_string().c_str());
if
(
auto
*
apply_op
=
op
.
as
<
ApplyOp
>
())
{
// all inputs should be FormattedTensorValue
auto
iter
=
format_rules
.
find
(
apply_op
->
op
().
dyn_typeinfo
());
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录