Created by: paulpaul91

为使您的问题得到快速解决，在建立Issues前，请您先通过如下方式搜索是否有相似问题:【搜索issue关键字】【使用labels筛选】【官方文档】

如果您没有查询到相似问题，为快速解决您的提问，建立issue时请提供如下细节信息：

• 标题：lstm raises an exception paddle::memory::allocation::BadAlloc
• 版本、环境信息：    1）PaddlePaddle版本：1.5    3）GPU：V100, CUDA10.0    4）系统环境：centos, Python3.6.9
• 训练信息    1）单机,多卡
• 问题描述： 3500w数据，跑lstm分类模型，跑了几个epoch后报错lstm raises an exception paddle::memory::allocation::BadAlloc

PaddleCheckError: Out of memory error on GPU 0. Cannot allocate 1.000000GB memory on GPU 0, available memory is only 221.875000MB.