Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
Greenplum
DeepSpeed
提交
559fb8e5
D
DeepSpeed
项目概览
Greenplum
/
DeepSpeed
上一次同步 大约 1 年
通知
10
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
DeepSpeed
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
559fb8e5
编写于
7月 06, 2022
作者:
J
Jeff Rasley
提交者:
GitHub
7月 06, 2022
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
[docs] fix broken read-the-docs build (#2075)
上级
9305916d
变更
3
显示空白变更内容
内联
并排
Showing
3 changed file
with
8 addition
and
5 deletion
+8
-5
docs/code-docs/source/conf.py
docs/code-docs/source/conf.py
+1
-1
docs/code-docs/source/memory.rst
docs/code-docs/source/memory.rst
+4
-4
requirements/requirements-readthedocs.txt
requirements/requirements-readthedocs.txt
+3
-0
未找到文件。
docs/code-docs/source/conf.py
浏览文件 @
559fb8e5
...
...
@@ -20,7 +20,7 @@ copyright = '2020, Microsoft'
author
=
'Microsoft'
# The full version, including alpha/beta/rc tags
release
=
'0.
3.0
'
release
=
'0.
6
'
master_doc
=
'index'
...
...
docs/code-docs/source/memory.rst
浏览文件 @
559fb8e5
...
...
@@ -7,9 +7,9 @@ API To Estimate Memory Usage
ZeRO2
:
..
autofunction
::
deepspeed
.
runtime
.
zero
.
stage2
.
estimate_zero2_model_states_mem_needs_all_live
..
autofunction
::
deepspeed
.
runtime
.
zero
.
stage
_1_and_
2
.
estimate_zero2_model_states_mem_needs_all_live
..
autofunction
::
deepspeed
.
runtime
.
zero
.
stage2
.
estimate_zero2_model_states_mem_needs_all_cold
..
autofunction
::
deepspeed
.
runtime
.
zero
.
stage
_1_and_
2
.
estimate_zero2_model_states_mem_needs_all_cold
Examples
:
...
...
@@ -18,7 +18,7 @@ Let's try a 3B model with just 1 node with 8 gpus, using live model:
.. code-block:: bash
python -c '
from
transformers
import
AutoModel
;
\
from
deepspeed
.
runtime
.
zero
.
stage2
import
estimate_zero2_model_states_mem_needs_all_live
;
\
from
deepspeed
.
runtime
.
zero
.
stage
_1_and_
2
import
estimate_zero2_model_states_mem_needs_all_live
;
\
model
=
AutoModel
.
from_pretrained
(
"t5-3b"
);
\
estimate_zero2_model_states_mem_needs_all_live
(
model
,
num_gpus_per_node
=
8
,
num_nodes
=
1
)
'
Estimated memory needed for params, optim states and gradients for a:
...
...
@@ -34,7 +34,7 @@ faster as we don't need to load the model.
..
code
-
block
::
bash
python
-
c
'from deepspeed.runtime.zero.stage2 import estimate_zero2_model_states_mem_needs_all_cold; \
python
-
c
'from deepspeed.runtime.zero.stage
_1_and_
2 import estimate_zero2_model_states_mem_needs_all_cold; \
estimate_zero2_model_states_mem_needs_all_cold(total_params=2851e6, num_gpus_per_node=8, num_nodes=1)'
Estimated
memory
needed
for
params
,
optim
states
and
gradients
for
a
:
HW
:
Setup
with
1
node
,
8
GPUs
per
node
.
...
...
requirements/requirements-readthedocs.txt
浏览文件 @
559fb8e5
docutils<0.18
hjson
packaging
psutil
py-cpuinfo
pydantic
torch
tqdm
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录