Skip to content

  • 体验新版
    • 正在加载...
  • 登录
  • PaddlePaddle
  • models
  • 合并请求
  • !4699

M
models
  • 项目概览

PaddlePaddle / models
大约 2 年 前同步成功

通知 232
Star 6828
Fork 2962
  • 代码
    • 文件
    • 提交
    • 分支
    • Tags
    • 贡献者
    • 分支图
    • Diff
  • Issue 602
    • 列表
    • 看板
    • 标记
    • 里程碑
  • 合并请求 255
  • Wiki 0
    • Wiki
  • 分析
    • 仓库
    • DevOps
  • 项目成员
  • Pages
M
models
  • 项目概览
    • 项目概览
    • 详情
    • 发布
  • 仓库
    • 仓库
    • 文件
    • 提交
    • 分支
    • 标签
    • 贡献者
    • 分支图
    • 比较
  • Issue 602
    • Issue 602
    • 列表
    • 看板
    • 标记
    • 里程碑
  • 合并请求 255
    • 合并请求 255
  • Pages
  • 分析
    • 分析
    • 仓库分析
    • DevOps
  • Wiki 0
    • Wiki
  • 成员
    • 成员
  • 收起侧边栏
  • 动态
  • 分支图
  • 创建新Issue
  • 提交
  • Issue看板

[dygraph] Polish the timing method and log of some dygraph models. !4699

  • Report abuse
!4699 已合并 6月 11, 2020 由 saxon_zh@saxon_zh 创建
#<User:0x00007f7ea8e96a28>
  • 概览 0
  • 提交 3
  • 变更 17

Created by: Xreki

修改resnet、mobilenet、seq2seq、ptb、transformer共5个模型的计时方式,使得每个模型会有一下计时信息输出:

  • batch_cost,为一个batch计算所需的总时间,包括读数据的时间
  • reader_cost,读数据的时间
  • epoch_cost,一个epoch的时间

这种计时方式得到的batch_cost和epoch_cost结论才是一致的。计时插入模式如下:

for epoch_id in range(num_epoches):
    epoch_start = time.time()
    ...
    batch_start = time.time()
    for XXX in data_loader():
        batch_reader_end = time.time()
        # network, backward, fetching
        ...
        train_batch_cost = time.time() - batch_start
        train_reader_cost = batch_reader_end - batch_start
        batch_start = time.time()
    train_epoch_cost = time.time() - epoch_start

另外,seq2seq中所有源码文件都有x权限,所以修改了文件的权限,并用pre-commit调了下格式。

说明和TODO:

  • ptb的数据全部都加载到内存里面了,没用DataLoader,但普通reader也不太耗时,所以没加reader计时。后续PR可以加上。
  • seq2seq也没用DataLoader,数据不确定是否在内存中,但reader_cost显示耗时也不多,后续可以再检查一下。
  • transformer没有打印reader_cost,因为log里面加reader_cost打印时出错,后续PR再加上。
指派人
分配到
审核者
Request review from
无
里程碑
无
分配里程碑
工时统计
标识: paddlepaddle/models!4699
Source branch: github/fork/Xreki/dygraph/time
渝ICP备2023009037号

京公网安备11010502055752号

网络110报警服务 Powered by GitLab CE v13.7
开源知识
Git 入门 Pro Git 电子书 在线学 Git
Markdown 基础入门 IT 技术知识开源图谱
帮助
使用手册 反馈建议 博客
《GitCode 隐私声明》 《GitCode 服务条款》 关于GitCode
Powered by GitLab CE v13.7