多节点多卡训练
Created by: Willianwatch
- 标题:如何做多个节点多卡的训练?
- 版本、环境信息: 1)PaddlePaddle版本:1.8 2)CPU: 3)GPU:GPU型号->Tesla V100、CUDA->10.0和CUDNN->7.6.5 4)系统环境:系统->CentOS 7.7, Python版本->3.7
- 训练信息 1)多机,多卡 2)1张卡显存32G,每个节点4张卡,共有3个节点
- 问题描述:https://paddlepaddle.org.cn/documentation/docs/zh/beginners_guide/basic_concept/dygraph/DyGraph.html#id10我按照此例程实现了单节点4卡的训练,但是现在有3个节点,请问下该如何设置?麻烦稍微讲解得详细些,最好能有个例程。