Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
Greenplum
DeepSpeed
提交
340fc0cf
D
DeepSpeed
项目概览
Greenplum
/
DeepSpeed
上一次同步 大约 1 年
通知
10
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
DeepSpeed
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
340fc0cf
编写于
11月 28, 2022
作者:
S
ShijieZZZZ
提交者:
GitHub
11月 28, 2022
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Report progress at gradient accumulation boundary (#2553)
* report progress at gradient accumulation boundary * format * format
上级
21c28029
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
16 addition
and
13 deletion
+16
-13
deepspeed/runtime/engine.py
deepspeed/runtime/engine.py
+3
-1
deepspeed/utils/timer.py
deepspeed/utils/timer.py
+13
-12
未找到文件。
deepspeed/runtime/engine.py
浏览文件 @
340fc0cf
...
...
@@ -2038,7 +2038,7 @@ class DeepSpeedEngine(Module):
assert
self
.
optimizer
is
not
None
and
not
isinstance
(
self
.
optimizer
,
DummyOptim
),
\
"must provide optimizer during init in order to use step"
report_progress
=
self
.
global_rank
==
0
if
self
.
global_rank
else
Tru
e
report_progress
=
Fals
e
self
.
_step_applied
=
False
# assume False, will flip to True
...
...
@@ -2065,6 +2065,8 @@ class DeepSpeedEngine(Module):
else
:
self
.
_take_model_step
(
lr_kwargs
)
report_progress
=
self
.
global_rank
==
0
if
self
.
global_rank
else
True
self
.
tput_timer
.
stop
(
report_progress
)
self
.
_stop_timers
(
self
.
engine_timers
.
step_timers
)
...
...
deepspeed/utils/timer.py
浏览文件 @
340fc0cf
...
...
@@ -193,18 +193,19 @@ class ThroughputTimer:
curr_samples_sec
=
(
self
.
batch_size
*
self
.
num_workers
)
/
duration
if
self
.
local_step_count
%
self
.
steps_per_output
==
0
:
if
report_speed
:
self
.
logging
(
"{}/{}, RunningAvgSamplesPerSec={}, CurrSamplesPerSec={}, MemAllocated={}GB, MaxMemAllocated={}GB"
.
format
(
self
.
epoch_count
,
self
.
local_step_count
,
self
.
avg_samples_per_sec
(),
curr_samples_sec
,
round
(
torch
.
cuda
.
memory_allocated
()
/
1024
**
3
,
2
),
round
(
torch
.
cuda
.
max_memory_allocated
()
/
1024
**
3
,
2
)))
if
report_speed
:
self
.
logging
(
"{}/{}, RunningAvgSamplesPerSec={}, CurrSamplesPerSec={}, MemAllocated={}GB, MaxMemAllocated={}GB"
.
format
(
self
.
epoch_count
,
self
.
local_step_count
,
self
.
avg_samples_per_sec
(),
curr_samples_sec
,
round
(
torch
.
cuda
.
memory_allocated
()
/
1024
**
3
,
2
),
round
(
torch
.
cuda
.
max_memory_allocated
()
/
1024
**
3
,
2
),
))
if
self
.
monitor_memory
:
virt_mem
=
psutil
.
virtual_memory
()
swap
=
psutil
.
swap_memory
()
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录