Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
机器未来
Paddle
提交
6b7d4845
P
Paddle
项目概览
机器未来
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
1
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
1
Issue
1
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
6b7d4845
编写于
3月 15, 2022
作者:
T
Thunderbrook
提交者:
GitHub
3月 15, 2022
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add shard_id (#40261)
* shard_id * format
上级
64223620
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
9 addition
and
9 deletion
+9
-9
paddle/fluid/framework/fleet/ps_gpu_wrapper.cc
paddle/fluid/framework/fleet/ps_gpu_wrapper.cc
+9
-9
未找到文件。
paddle/fluid/framework/fleet/ps_gpu_wrapper.cc
浏览文件 @
6b7d4845
...
...
@@ -148,7 +148,7 @@ void PSGPUWrapper::PreBuildTask(std::shared_ptr<HeterContext> gpu_task) {
t
.
join
();
}
timeline
.
Pause
();
VLOG
(
1
)
<<
"GpuPs build task cost "
<<
timeline
.
ElapsedSec
()
<<
" seconds."
;
VLOG
(
0
)
<<
"GpuPs build task cost "
<<
timeline
.
ElapsedSec
()
<<
" seconds."
;
}
else
{
CHECK
(
data_set_name
.
find
(
"MultiSlotDataset"
)
!=
std
::
string
::
npos
);
VLOG
(
0
)
<<
"ps_gpu_wrapper use MultiSlotDataset"
;
...
...
@@ -182,7 +182,7 @@ void PSGPUWrapper::PreBuildTask(std::shared_ptr<HeterContext> gpu_task) {
t
.
join
();
}
timeline
.
Pause
();
VLOG
(
1
)
<<
"GpuPs build task cost "
<<
timeline
.
ElapsedSec
()
<<
" seconds."
;
VLOG
(
0
)
<<
"GpuPs build task cost "
<<
timeline
.
ElapsedSec
()
<<
" seconds."
;
}
timeline
.
Start
();
...
...
@@ -300,7 +300,7 @@ void PSGPUWrapper::BuildPull(std::shared_ptr<HeterContext> gpu_task) {
int32_t
cnt
=
0
;
while
(
true
)
{
auto
tt
=
fleet_ptr
->
pslib_ptr_
->
_worker_ptr
->
pull_sparse_ptr
(
reinterpret_cast
<
char
**>
(
local_ptr
[
i
].
data
()),
this
->
table_id_
,
i
,
reinterpret_cast
<
char
**>
(
local_ptr
[
i
].
data
()),
this
->
table_id_
,
local_keys
[
i
].
data
(),
key_size
);
bool
flag
=
true
;
...
...
@@ -378,8 +378,8 @@ void PSGPUWrapper::BuildPull(std::shared_ptr<HeterContext> gpu_task) {
int32_t
cnt
=
0
;
while
(
true
)
{
auto
tt
=
fleet_ptr
->
pslib_ptr_
->
_worker_ptr
->
pull_sparse_ptr
(
reinterpret_cast
<
char
**>
(
local_dim_ptr
[
i
][
j
].
data
()),
this
->
table_id_
,
local_dim_keys
[
i
][
j
].
data
(),
key_size
);
i
,
reinterpret_cast
<
char
**>
(
local_dim_ptr
[
i
][
j
].
data
())
,
this
->
table_id_
,
local_dim_keys
[
i
][
j
].
data
(),
key_size
);
bool
flag
=
true
;
tt
.
wait
();
...
...
@@ -431,7 +431,7 @@ void PSGPUWrapper::BuildPull(std::shared_ptr<HeterContext> gpu_task) {
t
.
join
();
}
timeline
.
Pause
();
VLOG
(
1
)
<<
"pull sparse from CpuPS into GpuPS cost "
<<
timeline
.
ElapsedSec
()
VLOG
(
0
)
<<
"pull sparse from CpuPS into GpuPS cost "
<<
timeline
.
ElapsedSec
()
<<
" seconds."
;
if
(
multi_node_
)
{
auto
gloo_wrapper
=
paddle
::
framework
::
GlooWrapper
::
GetInstance
();
...
...
@@ -603,7 +603,7 @@ void PSGPUWrapper::BuildPull(std::shared_ptr<HeterContext> gpu_task) {
t
.
join
();
}
timeline
.
Pause
();
VLOG
(
1
)
<<
"GpuPs prepare for build hbm cost "
<<
timeline
.
ElapsedSec
()
VLOG
(
0
)
<<
"GpuPs prepare for build hbm cost "
<<
timeline
.
ElapsedSec
()
<<
" seconds."
;
}
...
...
@@ -746,7 +746,7 @@ void PSGPUWrapper::BeginPass() {
"[BeginPass] after build_task, current task is not null."
));
}
VLOG
(
1
)
<<
"BeginPass end, cost time: "
<<
timer
.
ElapsedSec
()
<<
"s"
;
VLOG
(
0
)
<<
"BeginPass end, cost time: "
<<
timer
.
ElapsedSec
()
<<
"s"
;
}
void
PSGPUWrapper
::
EndPass
()
{
...
...
@@ -769,7 +769,7 @@ void PSGPUWrapper::EndPass() {
current_task_
=
nullptr
;
gpu_free_channel_
->
Put
(
current_task_
);
timer
.
Pause
();
VLOG
(
1
)
<<
"EndPass end, cost time: "
<<
timer
.
ElapsedSec
()
<<
"s"
;
VLOG
(
0
)
<<
"EndPass end, cost time: "
<<
timer
.
ElapsedSec
()
<<
"s"
;
}
void
PSGPUWrapper
::
PullSparse
(
const
paddle
::
platform
::
Place
&
place
,
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录