Created by: MRXLT
PR types
New features
PR changes
OPs
Describe
完善Adam、Adamax、Optimizer、RMSProp op 新增AdamW op
Optimizer类 参数parameter_list 变为 parameters 参数regularization 变为weight_decay,传入float类型时为L2Decay的系数 set_dict接口变为set_state_dict 动态图下新增step接口,替代minimize current_step_lr接口变为get_lr clear_gradicents变为clear_grad,原接口仍存在,作为clear_grad的alias接口
AdamOptimzer变为Adam、AdamaxOptimizer变为Adamax、RMSPropOptimizer变为RMSProp,其余改动与基类Optimizer相同。
新增AdamW类 继承自DecoupledWeightDecay、Adam