Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
MindSpore
docs
提交
11c298b7
D
docs
项目概览
MindSpore
/
docs
通知
5
Star
3
Fork
2
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
docs
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
11c298b7
编写于
5月 15, 2020
作者:
M
mindspore-ci-bot
提交者:
Gitee
5月 15, 2020
浏览文件
操作
浏览文件
下载
差异文件
!118 fix bug of format error of the file guide of checkpoint for hybrid parallel
Merge pull request !118 from WeibiaoYu/master
上级
69fed9c3
4c02aac7
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
4 addition
and
3 deletion
+4
-3
tutorials/source_zh_cn/advanced_use/checkpoint_for_hybrid_parallel.md
...urce_zh_cn/advanced_use/checkpoint_for_hybrid_parallel.md
+3
-2
tutorials/source_zh_cn/index.rst
tutorials/source_zh_cn/index.rst
+1
-1
未找到文件。
tutorials/source_zh_cn/advanced_use/checkpoint_for_hybrid_parallel.md
浏览文件 @
11c298b7
...
@@ -248,10 +248,11 @@ param_dict = load_checkpoint("./CKP-Integrated_1-4_32.ckpt")
...
@@ -248,10 +248,11 @@ param_dict = load_checkpoint("./CKP-Integrated_1-4_32.ckpt")
### 步骤2:对模型并行参数做切分处理
### 步骤2:对模型并行参数做切分处理
下面以一个具体的模型参数为例,参数名称为“model_parallel_weight", 数据值为Tensor [[1, 2, 3, 4], [5, 6, 7, 8]],切分逻辑为2卡场景,按[2, 1]切分。
下面以一个具体的模型参数为例,参数名称为“model_parallel_weight", 数据值为Tensor [[1, 2, 3, 4], [5, 6, 7, 8]],切分逻辑为2卡场景,按[2, 1]切分。
切分后数据分布情况如下:
切分后数据分布情况如下:
| Device0 | Device1 |
| Device0 | Device1 |
| ------------------- | -------------------- |
| ------------------- | -------------------- |
| Value [1, 2, 3, 4]
| Value [5, 6, 7, 8]
|
| Value [1, 2, 3, 4]
| Value [5, 6, 7, 8]
|
1.
对模型参数数据做切分。
1.
对模型参数数据做切分。
...
...
tutorials/source_zh_cn/index.rst
浏览文件 @
11c298b7
...
@@ -30,7 +30,6 @@ MindSpore教程
...
@@ -30,7 +30,6 @@ MindSpore教程
advanced_use/visualization_tutorials
advanced_use/visualization_tutorials
advanced_use/mixed_precision
advanced_use/mixed_precision
advanced_use/distributed_training
advanced_use/distributed_training
advanced_use/checkpoint_for_hybrid_parallel
advanced_use/computer_vision_application
advanced_use/computer_vision_application
advanced_use/nlp_application
advanced_use/nlp_application
advanced_use/customized_debugging_information
advanced_use/customized_debugging_information
...
@@ -38,5 +37,6 @@ MindSpore教程
...
@@ -38,5 +37,6 @@ MindSpore教程
advanced_use/on_device_inference
advanced_use/on_device_inference
advanced_use/model_security
advanced_use/model_security
advanced_use/network_migration
advanced_use/network_migration
advanced_use/checkpoint_for_hybrid_parallel
advanced_use/mindspore_cpu_win_install
advanced_use/mindspore_cpu_win_install
advanced_use/community
advanced_use/community
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录