rcnn 训练时偶现loss为nan的情况
Created by: kolinwei
'loss_rpn_cls': 0.177, time: 0.423"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:33.344396, iter: 31, lr: 0.00375, 'loss_bbox': 0.096, 'loss': 1.305, 'loss_rpn_bbox': 0.2, 'loss_cls': 0.545, 'loss_rpn_cls': 0.199, time: 0.376"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:33.612872, iter: 32, lr: 0.00376, 'loss_bbox': 0.096, 'loss': 1.576, 'loss_rpn_bbox': 0.226, 'loss_cls': 0.569, 'loss_rpn_cls': 0.199, time: 0.417"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:34.029198, iter: 33, lr: 0.00377, 'loss_bbox': 0.104, 'loss': 1.804, 'loss_rpn_bbox': 0.264, 'loss_cls': 0.702, 'loss_rpn_cls': 0.208, time: 0.268"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:34.467100, iter: 34, lr: 0.00379, 'loss_bbox': 0.108, 'loss': 1.804, 'loss_rpn_bbox': 0.292, 'loss_cls': 0.736, 'loss_rpn_cls': 0.212, time: 0.416"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:34.885436, iter: 35, lr: 0.00380, 'loss_bbox': 0.108, 'loss': 1.704, 'loss_rpn_bbox': 0.256, 'loss_cls': 0.736, 'loss_rpn_cls': 0.216, time: 0.438"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:35.298830, iter: 36, lr: 0.00381, 'loss_bbox': 0.11, 'loss': 1.804, 'loss_rpn_bbox': 0.292, 'loss_cls': 0.736, 'loss_rpn_cls': 0.216, time: 0.418"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:35.660818, iter: 37, lr: 0.00383, 'loss_bbox': 0.115, 'loss': 1.886, 'loss_rpn_bbox': 0.356, 'loss_cls': 0.765, 'loss_rpn_cls': 0.228, time: 0.413"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:36.077945, iter: 38, lr: 0.00384, 'loss_bbox': 0.115, 'loss': 2.083, 'loss_rpn_bbox': 0.666, 'loss_cls': 0.855, 'loss_rpn_cls': 0.228, time: 0.362"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:36.487068, iter: 39, lr: 0.00385, 'loss_bbox': 0.134, 'loss': 2.331, 'loss_rpn_bbox': 0.913, 'loss_cls': 0.944, 'loss_rpn_cls': 0.228, time: 0.417"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:36.930706, iter: 40, lr: 0.00387, 'loss_bbox': 0.149, 'loss': 2.488, 'loss_rpn_bbox': 0.934, 'loss_cls': 0.978, 'loss_rpn_cls': 0.252, time: 0.409"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:37.079967, iter: 41, lr: 0.00388, 'loss_bbox': 0.149, 'loss': 2.488, 'loss_rpn_bbox': 0.934, 'loss_cls': 0.978, 'loss_rpn_cls': 0.228, time: 0.444"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:37.238165, iter: 42, lr: 0.00389, 'loss_bbox': nan, 'loss': nan, 'loss_rpn_bbox': 1.062, 'loss_cls': nan, 'loss_rpn_cls': 0.228, time: 0.149"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:37.385581, iter: 43, lr: 0.00391, 'loss_bbox': nan, 'loss': nan, 'loss_rpn_bbox': 1.236, 'loss_cls': nan, 'loss_rpn_cls': 0.237, time: 0.158"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:37.530130, iter: 44, lr: 0.00392, 'loss_bbox': nan, 'loss': nan, 'loss_rpn_bbox': 1.062, 'loss_cls': nan, 'loss_rpn_cls': 0.275, time: 0.147"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:37.901628, iter: 45, lr: 0.00393, 'loss_bbox': nan, 'loss': nan, 'loss_rpn_bbox': 1.062, 'loss_cls': nan, 'loss_rpn_cls': 0.275, time: 0.145"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:38.250460, iter: 46, lr: 0.00395, 'loss_bbox': nan, 'loss': nan, 'loss_rpn_bbox': 1.062, 'loss_cls': nan, 'loss_rpn_cls': 0.275, time: 0.371"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:38.385452, iter: 47, lr: 0.00396, 'loss_bbox': nan, 'loss': nan, 'loss_rpn_bbox': 1.062, 'loss_cls': nan, 'loss_rpn_cls': 0.292, time: 0.349"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:38.768880, iter: 48, lr: 0.00397, 'loss_bbox': nan, 'loss': nan, 'loss_rpn_bbox': 1.062, 'loss_cls': nan, 'loss_rpn_cls': 0.342, time: 0.135"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:38.923392, iter: 49, lr: 0.00399, 'loss_bbox': nan, 'loss': nan, 'loss_rpn_bbox': 1.062, 'loss_cls': nan, 'loss_rpn_cls': 0.439, time: 0.383"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:39.301629, iter: 50, lr: 0.00400, 'loss_bbox': nan, 'loss': nan, 'loss_rpn_bbox': 1.062, 'loss_cls': nan, 'loss_rpn_cls': 0.526, time: 0.155"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:39.463345, iter: 51, lr: 0.00401, 'loss_bbox': nan, 'loss': nan, 'loss_rpn_bbox': 1.288, 'loss_cls': nan, 'loss_rpn_cls': 0.667, time: 0.378"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:39.875876, iter: 52, lr: 0.00403, 'loss_bbox': nan, 'loss': nan, 'loss_rpn_bbox': 0.814, 'loss_cls': nan, 'loss_rpn_cls': 0.667, time: 0.162"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:40.291572, iter: 53, lr: 0.00404, 'loss_bbox': nan, 'loss': nan, 'loss_rpn_bbox': 0.777, 'loss_cls': nan, 'loss_rpn_cls': 0.66, time: 0.413"] [14:30:06] : [Step 3/3] ["2019-04-17 14:29:40.650109, iter: 54, lr: 0.00405, 'loss_bbox': nan, 'loss': nan, 'loss_rpn_bbox': 0.777, 'loss_cls': nan, 'loss_rpn_cls': 0.66, time: 0.416"]