Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
OpenDocCN
pytorch-doc-zh
提交
f5e5e8c3
P
pytorch-doc-zh
项目概览
OpenDocCN
/
pytorch-doc-zh
通知
122
Star
3932
Fork
992
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
pytorch-doc-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
未验证
提交
f5e5e8c3
编写于
4月 13, 2019
作者:
L
Lu
提交者:
GitHub
4月 13, 2019
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Update distributed_deprecated.md
上级
b72478f2
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
3 addition
and
3 deletion
+3
-3
docs/1.0/distributed_deprecated.md
docs/1.0/distributed_deprecated.md
+3
-3
未找到文件。
docs/1.0/distributed_deprecated.md
浏览文件 @
f5e5e8c3
...
...
@@ -114,7 +114,7 @@ torch.distributed.deprecated为在一台或多台机器上运行的多个计算
*
tensor(Tensor)-接受数据的张量
*
dst(int)-目的等级
orch.distributed.deprecated.recv(tensor, src=None)
orch.distributed.deprecated.recv(tensor, src=None)
同步接收张量。
...
...
@@ -397,13 +397,13 @@ torch.distributed.launch 是一个模块,它在每个训练节点上产生多
3.
在训练程序中,您应该在开始时调用以下函数来启动分布式后端。您需要确保init_method使用env://,这是init_method此模块唯一支持的。
torch.distributed.init_process_group(backend='YOUR BACKEND',
torch.distributed.init_process_group(backend='YOUR BACKEND',
init_method='env://')
4.
在你的训练程序中,你可以选择常规分布式函数或使用
[
torch.nn.parallel.DistributedDataParallel()
](
https://github.com/luxinfeng/pytorch-doc-zh/blob/master/docs/1.0/nn.html#torch.nn.parallel.DistributedDataParallel
)
。如果计划使用GPU训练,并且您希望使用
[
torch.nn.parallel.DistributedDataParallel()
](
https://github.com/luxinfeng/pytorch-doc-zh/blob/master/docs/1.0/nn.html#torch.nn.parallel.DistributedDataParallel
)
模块,以下是如何配置它。
model = torch.nn.parallel.DistributedDataParallel(model,
model = torch.nn.parallel.DistributedDataParallel(model,
device_ids = [arg.local_rank],
output_device = arg.local_rank)
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录