Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
MegEngine 天元
Docs
提交
96b82e33
D
Docs
项目概览
MegEngine 天元
/
Docs
通知
3
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
Docs
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
96b82e33
编写于
5月 06, 2020
作者:
M
Megvii Engine Team
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add param pack docs
GitOrigin-RevId: 3d87f1cea679d78d1d0894281717a1cdb3c59054
上级
5d64013a
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
19 addition
and
0 deletion
+19
-0
source/advanced/distributed.rst
source/advanced/distributed.rst
+19
-0
未找到文件。
source/advanced/distributed.rst
浏览文件 @
96b82e33
...
...
@@ -167,3 +167,22 @@
dist.init_process_group(server, port, world_size, global_rank, local_rank)
其它部分与单机版本完全相同。最终只需在每个机器上执行相同的 Python 程序,即可实现多机多卡的分布式训练。
参数打包
---------------------------
单机多卡或者多机多卡训练的时候,都可以用参数打包来加速训练速度,只需在训练的模型外包一层参数打包模块。
参数打包会将模型中的参数打包成连续的内存,在反传梯度的过程中可以减少通信次数,明显提升梯度同步的速度,达到训练加速的目的。
另外,ParamPack有几个可以调整的参数,对加速效果有一定影响,具体看 :class:`~.module.ParamPack` 中的描述。
用法:
.. code-block::
from megengine.module import ParamPack
net = Le_Net()
net = ParamPack(net)
opt = SGD(net.parameters(), lr=0.01, momentum=0.9, weight_decay=5e-4)
# training code
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录