attention ocr调小学习率后,仍出现loss=nan
Created by: wenston2006
我用attention ocr 训练中文识别,我的样本都是些标签长度不均一的中文短语; 最初将attention_model. py 中的学习率LR设置为0.1, 训练了1.8万次, 开头train_acc, test_acc一直在上升, 但突然loss变为nan; 我将LR降低为0.01后,训练了1000次, loss就为nan了;这种情况下是否学习率应该调高而不是降低?请问LR可调范围大约是多少?此外decoder_size, word_vector_dim这几个参数对训练影响大吗?应如何调整?