提交 45c9ee13 编写于 作者: Q qiuxuezhong

update readme

上级 47685710
......@@ -155,18 +155,31 @@ perl multi-bleu.perl data/newstest2013.tok.de < predict.tok.txt
BLEU = 25.08, 58.3/31.5/19.6/12.6 (BP=0.966, ratio=0.967, hyp_len=61321, ref_len=63412)
```
###分布式训练
transformer 模型支持同步或者异步的分布式训练。分布式的配置主要两个方面:
1 命令行配置
--local参数,这个参数有两个取值,True表示单机训练,而False表示使用分布式训练。默认为单机训练模式。
--sync参数,这个参数有两个取值,但只有当--local参数为False才会产生影响,其中True表示同步训练模式,False表示异步训练模式。默认为同步训练模式。
2 环境变量配置
在分布式训练模式下,会手动配置训练的trainer数量和pserver数量。在网络拓扑上,每一个trainer都会和pserver相连,每一个pserver也会和trainer相连,pserver作为服务端,而trainer作为客户端。下面分pserver和trainer说明具体的参数配置:
在分布式训练模式下,会手动配置训练的trainer数量和pserver数量。在网络拓扑上,每一个trainer都会和pserver相连,每一个pserver也会和trainer相连,pserver作为服务端,而trainer作为客户端。下面分pserver和trainer说明具体的参数配置:
1)pserver配置
PADDLE_IS_LOCAL=[0|1]:是否是分布式训练,0标识是分布式,1标识是单机
TRAINING_ROLE=PSERVER:标识当前节点是pserver
POD_IP=ip:设置当前pserver使用对外服务的地址
PADDLE_PORT=port:设置当前pserver对外服务监听端口号,和POD_IP共同构成对外的唯一标识
PADDLE_TRAINERS_NUM=num:设置pserver连接的trainer的数量
下面是配置的示例,使用两个pserver,192.168.2.2上的配置如下:
```
export PADDLE_PSERVERS=192.168.2.2,192.168.2.3
......@@ -186,10 +199,15 @@ export PADDLE_IS_LOCAL=0
export PADDLE_PORT=6177
```
2)trainer配置
PADDLE_IS_LOCAL=[0|1]:是否是分布式训练,0标识是分布式,1标识是单机
TRAINING_ROLE=TRAINER:标识当前节点是trainer
PADDLE_PSERVERS=[ip1,ip2,……]:设置pserver的ip地址,用于告知trainer互联的pserver的ip,使用","分割
PADDLE_TRAINER_ID=num:设置当前节点的编号,编号的取值范围为0到N-1的整数
PADDLE_PORT=port:设置请求的pserver服务端口号
下面是配置的示例,使用两个trainer,trainer 1上的配置如下:
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册