Skip to content

  • 体验新版
    • 正在加载...
  • 登录
  • PaddlePaddle
  • Paddle
  • Issue
  • #27501

P
Paddle
  • 项目概览

PaddlePaddle / Paddle
大约 2 年 前同步成功

通知 2325
Star 20933
Fork 5424
  • 代码
    • 文件
    • 提交
    • 分支
    • Tags
    • 贡献者
    • 分支图
    • Diff
  • Issue 1423
    • 列表
    • 看板
    • 标记
    • 里程碑
  • 合并请求 543
  • Wiki 0
    • Wiki
  • 分析
    • 仓库
    • DevOps
  • 项目成员
  • Pages
P
Paddle
  • 项目概览
    • 项目概览
    • 详情
    • 发布
  • 仓库
    • 仓库
    • 文件
    • 提交
    • 分支
    • 标签
    • 贡献者
    • 分支图
    • 比较
  • Issue 1,423
    • Issue 1,423
    • 列表
    • 看板
    • 标记
    • 里程碑
  • 合并请求 543
    • 合并请求 543
  • Pages
  • 分析
    • 分析
    • 仓库分析
    • DevOps
  • Wiki 0
    • Wiki
  • 成员
    • 成员
  • 收起侧边栏
  • 动态
  • 分支图
  • 创建新Issue
  • 提交
  • Issue看板
已关闭
开放中
Opened 9月 23, 2020 by saxon_zh@saxon_zhGuest

关于paddle框架中hierarchical allreduce(2D ncclallreduce)代码实现以及使用方法的疑问

Created by: Frank00001

我仔细浏览了paddle针对2D ncclallreduce算法开源的代码,主要有两点疑问: 1、在机器内,各个节点是否应该使用ncclreducescatter进行同步通信? 根据腾讯提出的hirerarchical allreduce,如下图所示,在第一阶段各个组内intra rings时,每个计算节点都会接收上一个相邻节点发送的数据,并发送数据到相邻的下一个节点上,形成一个环形ring的逻辑。 2 但是在paddle实现这一同步算法时(Add multi-ncclcomm and 2D ncclallreduce support. #17263),第一阶段在第各个组内进行intra ring同步时,使用ncclreduce函数,这就没有构成一个环形ring的过程,请问此处代码是不是应该用ncclreducescatter进行替换? 2、关于2D ncclallreduce的使用方法 我在飞桨GPU训练优秀实践的教程中,没有找到ringallreduce以及hierarchical allreduce(2D ncclallreduce)的具体使用方法。如下图所示,如果想使用hierarchical allreduce的话,是不是设置dist_strategy.use_hierarchical_allreduce=True即可,这个参数设置未在文档中进行说明;并且ringallreduce同步方式的使用方法也未在文档中说明。 3

十分期待您的解答!

指派人
分配到
无
里程碑
无
分配里程碑
工时统计
无
截止日期
无
标识: paddlepaddle/Paddle#27501
渝ICP备2023009037号

京公网安备11010502055752号

网络110报警服务 Powered by GitLab CE v13.7
开源知识
Git 入门 Pro Git 电子书 在线学 Git
Markdown 基础入门 IT 技术知识开源图谱
帮助
使用手册 反馈建议 博客
《GitCode 隐私声明》 《GitCode 服务条款》 关于GitCode
Powered by GitLab CE v13.7