Skip to content

  • 体验新版
    • 正在加载...
  • 登录
  • PaddlePaddle
  • models
  • Issue
  • #4579

M
models
  • 项目概览

PaddlePaddle / models
大约 2 年 前同步成功

通知 232
Star 6828
Fork 2962
  • 代码
    • 文件
    • 提交
    • 分支
    • Tags
    • 贡献者
    • 分支图
    • Diff
  • Issue 602
    • 列表
    • 看板
    • 标记
    • 里程碑
  • 合并请求 255
  • Wiki 0
    • Wiki
  • 分析
    • 仓库
    • DevOps
  • 项目成员
  • Pages
M
models
  • 项目概览
    • 项目概览
    • 详情
    • 发布
  • 仓库
    • 仓库
    • 文件
    • 提交
    • 分支
    • 标签
    • 贡献者
    • 分支图
    • 比较
  • Issue 602
    • Issue 602
    • 列表
    • 看板
    • 标记
    • 里程碑
  • 合并请求 255
    • 合并请求 255
  • Pages
  • 分析
    • 分析
    • 仓库分析
    • DevOps
  • Wiki 0
    • Wiki
  • 成员
    • 成员
  • 收起侧边栏
  • 动态
  • 分支图
  • 创建新Issue
  • 提交
  • Issue看板
已关闭
开放中
Opened 4月 28, 2020 by saxon_zh@saxon_zhGuest

异步数据读取和处理效率不高,导致GPU利用率较低

Created by: yangyangHu

问题描述:

  • 试用的代码是paddlepaddle开源的deepspeech2: https://github.com/PaddlePaddle/DeepSpeech

  • 硬件环境:paddlepaddle-1.6, 4块GPU-v100, CPU 32core

  • 代码里面使用的是异步数据读取:

reader = fluid.io.DataLoader.from_generator( feed_list=inputs, capacity=64, iterable=False, use_double_buffer=True)

  • 遇到的问题: batch_size=64, 4块GPU-v100训练的时候,gpu利用率不到1% 自己排查了io利用率不到20%,磁盘为SSD,cpu只有1-2个core用起来了,其它的30个cpu core都是空闲。

根据paddlepaddle文档 (https://www.paddlepaddle.org.cn/documentation/docs/en//advanced_guide/performance_improving/singlenode_training_improving/training_best_practice.html) 提示设置FLAGS_reader_queue_speed_test_mode,关闭数据读取和预处理,纯测试GPU利用率稳定在90%以上,自行排查下来瓶颈应该在异步数据读取和预处理

求帮忙解答。

指派人
分配到
无
里程碑
无
分配里程碑
工时统计
无
截止日期
无
标识: paddlepaddle/models#4579
渝ICP备2023009037号

京公网安备11010502055752号

网络110报警服务 Powered by GitLab CE v13.7
开源知识
Git 入门 Pro Git 电子书 在线学 Git
Markdown 基础入门 IT 技术知识开源图谱
帮助
使用手册 反馈建议 博客
《GitCode 隐私声明》 《GitCode 服务条款》 关于GitCode
Powered by GitLab CE v13.7