使用train_from_dataset训练,获取的moment都是0
Created by: ameyais
使用train_from_dataset训练时,想打印训练时的梯度和优化器计算的moment
我使用下面的方法获取梯度变量和moment变量,加在fetch_list中,使用adagrad训练 fc0_w_grad = fluid.default_main_program().global_block().var("fc_0.b_0@GRAD") fc0_w_moment = fluid.default_main_program().global_block().var("fc_0.b_0_moment_0")
训练过程中发现,梯度可以正常获取,但是moment打印出来都是0,最后模型保存下来时,查看保存的moment又是有值的 请问这是什么原因呢?需要怎么获取训练中的moment呢?