未验证 提交 9cda8c3d 编写于 作者: L Lu 提交者: GitHub

Update distributed_deprecated.md

上级 62577d42
...@@ -171,6 +171,7 @@ tensor必须在参与集合体的所有过程中具有相同数量的元素。 ...@@ -171,6 +171,7 @@ tensor必须在参与集合体的所有过程中具有相同数量的元素。
torch.distributed.deprecated.all_reduce(tensor, op=<object object>, group=<object object>) torch.distributed.deprecated.all_reduce(tensor, op=<object object>, group=<object object>)
减少所有机器上的张量数据,以便获得最终结果。 减少所有机器上的张量数据,以便获得最终结果。
在所有进程中调用张量将按位相同。 在所有进程中调用张量将按位相同。
...@@ -184,6 +185,7 @@ tensor必须在参与集合体的所有过程中具有相同数量的元素。 ...@@ -184,6 +185,7 @@ tensor必须在参与集合体的所有过程中具有相同数量的元素。
torch.distributed.deprecated.reduce(tensor, dst, op=<object object>, group=<object object>) torch.distributed.deprecated.reduce(tensor, dst, op=<object object>, group=<object object>)
减少所有机器的张量数据。 减少所有机器的张量数据。
只有等级为dst的进程将接收最终结果。 只有等级为dst的进程将接收最终结果。
...@@ -198,6 +200,7 @@ tensor必须在参与集合体的所有过程中具有相同数量的元素。 ...@@ -198,6 +200,7 @@ tensor必须在参与集合体的所有过程中具有相同数量的元素。
torch.distributed.deprecated.all_gather(tensor_list, tensor, group=<object object>) torch.distributed.deprecated.all_gather(tensor_list, tensor, group=<object object>)
从列表中收集整个组的张量。 从列表中收集整个组的张量。
参数: 参数:
...@@ -209,6 +212,7 @@ tensor必须在参与集合体的所有过程中具有相同数量的元素。 ...@@ -209,6 +212,7 @@ tensor必须在参与集合体的所有过程中具有相同数量的元素。
torch.distributed.deprecated.gather(tensor, **kwargs) torch.distributed.deprecated.gather(tensor, **kwargs)
从单个进程中收集张量列表。 从单个进程中收集张量列表。
参数: 参数:
...@@ -221,6 +225,7 @@ tensor必须在参与集合体的所有过程中具有相同数量的元素。 ...@@ -221,6 +225,7 @@ tensor必须在参与集合体的所有过程中具有相同数量的元素。
torch.distributed.deprecated.scatter(tensor, **kwargs) torch.distributed.deprecated.scatter(tensor, **kwargs)
将张量列表分散到组中的所有进程。 将张量列表分散到组中的所有进程。
每个进程将只接收一个张量并将其数据存储在tensor参数中。 每个进程将只接收一个张量并将其数据存储在tensor参数中。
...@@ -235,9 +240,10 @@ tensor必须在参与集合体的所有过程中具有相同数量的元素。 ...@@ -235,9 +240,10 @@ tensor必须在参与集合体的所有过程中具有相同数量的元素。
torch.distributed.deprecated.barrier(group = < object object >) torch.distributed.deprecated.barrier(group = < object object >)
同步所有进程。
此集合会阻止进程,直到整个组进入此函数。 同步所有进程。
此集合会阻止进程,直到整个组进入此函数。
![para](img/para.png) ![para](img/para.png)
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册