关于cnn,lstm文本训练结果不收敛的问题请教
Created by: HugoLian
我用相同的训练集和测试集,分别通过cnn和lstm进行了训练,网络结构参考book教程中的情感分析模型。 dataprovider中我把所有数据加载到内存中: @provider(init_hook=hook, cache=CacheType.CACHE_PASS_IN_MEM)
以cnn模型为例,我的参数为:batch_size=512, trainer_count=7 其他参数是:
settings(
batch_size=512,
learning_rate=2e-3,
learning_method=AdamOptimizer(),
average_window=0.5,
regularization=L2Regularization(8e-4),
gradient_clipping_threshold=25)
但是看训练结果,第一轮训练的classification_error_evaluator为0.114,而且随着训练的进行,有增高的趋势:(grep 训练日志关键字之后的结果)
请问出现这种情况正常么? (另:我的原始训练样本顺序,所有的正例‘1’都排在负例‘0’前面,这个会有影响么?)