Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
Paddle
提交
eda0c588
P
Paddle
项目概览
PaddlePaddle
/
Paddle
大约 1 年 前同步成功
通知
2299
Star
20931
Fork
5422
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
1423
列表
看板
标记
里程碑
合并请求
543
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
1,423
Issue
1,423
列表
看板
标记
里程碑
合并请求
543
合并请求
543
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
eda0c588
编写于
5月 04, 2023
作者:
R
Roc
提交者:
GitHub
5月 04, 2023
1
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
revert p2p communication for xpu (#53496)
上级
19950e65
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
0 addition
and
26 deletion
+0
-26
python/paddle/distributed/fleet/meta_parallel/pp_utils/p2p_communication.py
...ributed/fleet/meta_parallel/pp_utils/p2p_communication.py
+0
-26
未找到文件。
python/paddle/distributed/fleet/meta_parallel/pp_utils/p2p_communication.py
浏览文件 @
eda0c588
...
@@ -24,26 +24,6 @@ _hcg = None
...
@@ -24,26 +24,6 @@ _hcg = None
_use_cache
=
False
_use_cache
=
False
_enable_partial_send_recv
=
True
_enable_partial_send_recv
=
True
_xpu_comm_group_started
=
False
def
_xpu_comm_group_start
():
if
not
paddle
.
is_compiled_with_xpu
():
return
global
_xpu_comm_group_started
assert
not
_xpu_comm_group_started
framework
.
core
.
ProcessGroupBKCL
.
group_start
()
_xpu_comm_group_started
=
True
def
_xpu_comm_group_end
():
if
not
paddle
.
is_compiled_with_xpu
():
return
global
_xpu_comm_group_started
if
_xpu_comm_group_started
:
framework
.
core
.
ProcessGroupBKCL
.
group_end
()
_xpu_comm_group_started
=
False
def
initialize_p2p_groups
(
hcg
,
use_cache
=
True
,
enable_partial_send_recv
=
True
):
def
initialize_p2p_groups
(
hcg
,
use_cache
=
True
,
enable_partial_send_recv
=
True
):
global
_hcg
,
_use_cache
,
_enable_partial_send_recv
global
_hcg
,
_use_cache
,
_enable_partial_send_recv
...
@@ -371,7 +351,6 @@ def _p2p_helper(
...
@@ -371,7 +351,6 @@ def _p2p_helper(
# TODO(Yuang Liu): use batch_isend_irecv replace all these comm ops
# TODO(Yuang Liu): use batch_isend_irecv replace all these comm ops
tasks
=
[]
tasks
=
[]
# start to p2p communicate
# start to p2p communicate
_xpu_comm_group_start
()
if
tensor_send_prev
is
not
None
:
if
tensor_send_prev
is
not
None
:
if
isinstance
(
tensor_send_prev
,
tuple
):
if
isinstance
(
tensor_send_prev
,
tuple
):
for
d
in
tensor_send_prev
:
for
d
in
tensor_send_prev
:
...
@@ -407,7 +386,6 @@ def _p2p_helper(
...
@@ -407,7 +386,6 @@ def _p2p_helper(
use_calc_stream
=
sync_recv
,
use_calc_stream
=
sync_recv
,
)
)
if
sync_recv
:
if
sync_recv
:
_xpu_comm_group_end
()
allgather_partial
(
allgather_partial
(
d
,
d
,
nranks
=
mp_degree
,
nranks
=
mp_degree
,
...
@@ -428,7 +406,6 @@ def _p2p_helper(
...
@@ -428,7 +406,6 @@ def _p2p_helper(
)
)
if
sync_recv
:
if
sync_recv
:
_xpu_comm_group_end
()
allgather_partial
(
allgather_partial
(
tensor_recv_prev
,
tensor_recv_prev
,
nranks
=
mp_degree
,
nranks
=
mp_degree
,
...
@@ -475,7 +452,6 @@ def _p2p_helper(
...
@@ -475,7 +452,6 @@ def _p2p_helper(
)
)
if
sync_recv
:
if
sync_recv
:
_xpu_comm_group_end
()
allgather_partial
(
allgather_partial
(
d
,
d
,
nranks
=
mp_degree
,
nranks
=
mp_degree
,
...
@@ -496,7 +472,6 @@ def _p2p_helper(
...
@@ -496,7 +472,6 @@ def _p2p_helper(
use_calc_stream
=
sync_recv
,
use_calc_stream
=
sync_recv
,
)
)
if
sync_recv
:
if
sync_recv
:
_xpu_comm_group_end
()
allgather_partial
(
allgather_partial
(
tensor_recv_next
,
tensor_recv_next
,
nranks
=
mp_degree
,
nranks
=
mp_degree
,
...
@@ -506,7 +481,6 @@ def _p2p_helper(
...
@@ -506,7 +481,6 @@ def _p2p_helper(
)
)
else
:
else
:
tasks
.
append
(
task
)
tasks
.
append
(
task
)
_xpu_comm_group_end
()
if
not
sync_recv
:
if
not
sync_recv
:
if
framework
.
in_dygraph_mode
():
if
framework
.
in_dygraph_mode
():
# wait irecv tasks in eager dygraph mode with new comm library
# wait irecv tasks in eager dygraph mode with new comm library
...
...
saxon_zh
@saxon_zh
mentioned in commit
4a97ba5d
·
5月 12, 2023
mentioned in commit
4a97ba5d
mentioned in commit 4a97ba5d27d66a8846a3ec835a769d211d9e5974
开关提交列表
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录