Created by: wuxiaodong1014

大家好，我在运行faster-rcnn目标检测自己的数据集时，当运行到一定次数，loss值会出现NAN情况，不知道是什么原因，

• 版本、环境信息：    1）PaddlePaddle版本：1.3    2）GPU： CUDA：9.0和CUDNN： 7    4）python 3.6 现象如下所示： 2019-05-05 09:39:54.880255, iter: 1283, lr: 0.00100, 'loss': nan, 'loss_cls': nan, 'loss_bbox': 0.097, 'loss_rpn_cls': 0.004, 'loss_rpn_bbox': 0.015, time: 0.627 /usr/local/lib/python3.6/dist-packages/numpy/lib/function_base.py:3405: RuntimeWarning: Invalid value encountered in median r = func(a, **kwargs) 2019-05-05 09:39:55.511381, iter: 1284, lr: 0.00100, 'loss': nan, 'loss_cls': nan, 'loss_bbox': 0.097, 'loss_rpn_cls': 0.004, 'loss_rpn_bbox': 0.015, time: 0.615 2019-05-05 09:39:56.129382, iter: 1285, lr: 0.00100, 'loss': nan, 'loss_cls': nan, 'loss_bbox': 0.106, 'loss_rpn_cls': 0.004, 'loss_rpn_bbox': 0.015, time: 0.631