Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
MindSpore
docs
提交
87da5dae
D
docs
项目概览
MindSpore
/
docs
通知
5
Star
3
Fork
2
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
docs
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
87da5dae
编写于
5月 25, 2020
作者:
W
WeibiaoYu
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add english guide for doing checkpoint in hybrid parallel scence
上级
3b50ea60
变更
5
展开全部
显示空白变更内容
内联
并排
Showing
5 changed file
with
626 addition
and
7 deletion
+626
-7
tutorials/source_en/advanced_use/checkpoint_for_hybrid_parallel.md
.../source_en/advanced_use/checkpoint_for_hybrid_parallel.md
+611
-0
tutorials/source_en/advanced_use/distributed_training_tutorials.rst
...source_en/advanced_use/distributed_training_tutorials.rst
+8
-0
tutorials/source_en/advanced_use/images/checkpoint_integration_process.png
...en/advanced_use/images/checkpoint_integration_process.png
+0
-0
tutorials/source_en/index.rst
tutorials/source_en/index.rst
+1
-1
tutorials/source_zh_cn/advanced_use/checkpoint_for_hybrid_parallel.md
...urce_zh_cn/advanced_use/checkpoint_for_hybrid_parallel.md
+6
-6
未找到文件。
tutorials/source_en/advanced_use/checkpoint_for_hybrid_parallel.md
0 → 100644
浏览文件 @
87da5dae
此差异已折叠。
点击以展开。
tutorials/source_en/advanced_use/distributed_training_tutorials.rst
0 → 100644
浏览文件 @
87da5dae
Distributed training
====================
.. toctree::
:maxdepth: 1
distributed_training
checkpoint_for_hybrid_parallel
tutorials/source_en/advanced_use/images/checkpoint_integration_process.png
0 → 100644
浏览文件 @
87da5dae
213.9 KB
tutorials/source_en/index.rst
浏览文件 @
87da5dae
...
...
@@ -43,7 +43,7 @@ MindSpore Tutorials
:maxdepth: 1
:caption: Performance Optimization
advanced_use/distributed_training
advanced_use/distributed_training
_tutorials
advanced_use/mixed_precision
.. toctree::
...
...
tutorials/source_zh_cn/advanced_use/checkpoint_for_hybrid_parallel.md
浏览文件 @
87da5dae
...
...
@@ -183,13 +183,13 @@ for _, param in net.parameters_and_names():
如下代码,先分别对切片1和切片2,切片3和切片4按列拼接,之后对前两步得到的数据按行拼接。
```
slice_line1 = np.concatenate((slice_list[0], slice_list[1]), a
ix
=1) # result [1,2,3,4]
slice_line2 = np.concatenate((slice_list[2], slice_list[3]), a
ix
=1) # result [5,6,7,8]
whole_data = np.concatenate((slice_line1, slice_line2), a
ix
=0) # result [[1, 2, 3, 4], [5, 6, 7, 8]]
slice_line1 = np.concatenate((slice_list[0], slice_list[1]), a
xis
=1) # result [1,2,3,4]
slice_line2 = np.concatenate((slice_list[2], slice_list[3]), a
xis
=1) # result [5,6,7,8]
whole_data = np.concatenate((slice_line1, slice_line2), a
xis
=0) # result [[1, 2, 3, 4], [5, 6, 7, 8]]
slice_moments_line1 = np.concatenate((slice_lis_moments[0], slice_lis_moments[1]), a
ix
=1)
slice_moments_line2 = np.concatenate((slice_lis_moments[2], slice_lis_moments[3]), a
ix
=1)
whole_moments_data = np.concatenate((slice_moments_line1, slice_moments_line2), a
ix
=0)
slice_moments_line1 = np.concatenate((slice_lis_moments[0], slice_lis_moments[1]), a
xis
=1)
slice_moments_line2 = np.concatenate((slice_lis_moments[2], slice_lis_moments[3]), a
xis
=1)
whole_moments_data = np.concatenate((slice_moments_line1, slice_moments_line2), a
xis
=0)
```
5.
对模型参数赋值。
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录