在训练过程中不断吃显存,直到显存不足
Created by: yeyupiaoling
- 项目:DeepSpeech issue
- PaddlePaddle 1.8
- CUDA 10
- Docker
- 显卡:2080ti 11G
export FLAGS_sync_nccl_allreduce=0
export FLAGS_eager_delete_tensor_gb=0
export FLAGS_fraction_of_gpu_memory_to_use=0.98
CUDA_VISIBLE_DEVICES=0,1 python train.py
我使用的是docker进行训练,显存为11G,一开始训练只占8G左右,但在训练过程中会出现不断吃显存,直到显存不足挂掉。设置小batch_size也没有用的。
请问这个问题如何解决?