Skip to content

  • 体验新版
    • 正在加载...
  • 登录
  • PaddlePaddle
  • Paddle
  • Issue
  • #21003

P
Paddle
  • 项目概览

PaddlePaddle / Paddle
大约 2 年 前同步成功

通知 2325
Star 20933
Fork 5424
  • 代码
    • 文件
    • 提交
    • 分支
    • Tags
    • 贡献者
    • 分支图
    • Diff
  • Issue 1423
    • 列表
    • 看板
    • 标记
    • 里程碑
  • 合并请求 543
  • Wiki 0
    • Wiki
  • 分析
    • 仓库
    • DevOps
  • 项目成员
  • Pages
P
Paddle
  • 项目概览
    • 项目概览
    • 详情
    • 发布
  • 仓库
    • 仓库
    • 文件
    • 提交
    • 分支
    • 标签
    • 贡献者
    • 分支图
    • 比较
  • Issue 1,423
    • Issue 1,423
    • 列表
    • 看板
    • 标记
    • 里程碑
  • 合并请求 543
    • 合并请求 543
  • Pages
  • 分析
    • 分析
    • 仓库分析
    • DevOps
  • Wiki 0
    • Wiki
  • 成员
    • 成员
  • 收起侧边栏
  • 动态
  • 分支图
  • 创建新Issue
  • 提交
  • Issue看板
已关闭
开放中
Opened 11月 04, 2019 by saxon_zh@saxon_zhGuest

batch_norm, fuse_with_relu, 与act参数互斥,不能用户同时使用

Created by: luotao1

用户问题

  • 请教一下,paddle中的fluid.layers.batch_norm(),函数 中act这个参数有用吗?设置为 act=‘relu’,那么意味着bn层后面接了relu吗
    • 答:是的
  • 追问:是不是一定要act设置完之后,在设置这个fuse_with_relu 。。如果不设置fuse_with_relu,那么只设置act,是不是就不起作用。。
    • 答:我理解这个地方如果使用应该是把relu fuse进去了,而直接用act是另外接了了一个relu op
  • 追问:意思是 同时使用这两个参数,act=relu,fuse_with_relu=True..那么就是后面接了两次 relu吗??
    • 答:刚咨询了下相关同学,这个fuse只在预测用,训练的话还是用act,这个接口需要改进下
  • 追问:我这有一个疑问,我看nn.py中 batch_norm()源码,里面act设置与否,后面都没有使用,感觉是一个多余的参数。
    • 答:解释了下代码
  • 追问:那预测的时候 是不是就要设置 act为None,fuse_with_relu=True ??
    • 答:如果不考虑 mkldnn 的话,只使用act这个参数就好了,训练和预测一样

总结

  • batch_norm中fuse_with_relu只用于mkldnn的预测,是否不应该暴露给用户? @bingyanghuang @jianhang-liu #11434 加了这个参数。
指派人
分配到
无
里程碑
无
分配里程碑
工时统计
无
截止日期
无
标识: paddlepaddle/Paddle#21003
渝ICP备2023009037号

京公网安备11010502055752号

网络110报警服务 Powered by GitLab CE v13.7
开源知识
Git 入门 Pro Git 电子书 在线学 Git
Markdown 基础入门 IT 技术知识开源图谱
帮助
使用手册 反馈建议 博客
《GitCode 隐私声明》 《GitCode 服务条款》 关于GitCode
Powered by GitLab CE v13.7