float point exception
Created by: 333caowei
训练过程中经过多个pass之后会出现float point exception错误。
#46 (closed) #53 有提到可以通过更换模型,降低batcisize、降低学习速率或者优化算法可以解决这个问题。
经过实验发现降低batcisize(128变为50)、降低学习速率(adam由1e-3变为1e-4)并没有解决这个问题。 更换优化算法(由adam变为MomentumOptimizer(0.9))也还是会出现同样问题。
不知有没有什么别的办法可以解决这个float point exception问题
(注:训练样本大约50w条数据做序列分类,label大约8w个,90%数据序列长度小于10,集群版本paddle,训练了大约80个pass)