Created by: MRXLT
完善Adam、Adamax、Optimizer、RMSProp op 新增AdamW op
Optimizer类 参数parameter_list 变为 parameters 参数regularization 变为weight_decay,传入float类型时为L2Decay的系数 set_dict接口变为set_state_dict 动态图下新增step接口,替代minimize
AdamOptimzer变为Adam、AdamaxOptimizer变为Adamax、RMSPropOptimizer变为RMSProp,其余改动与基类Optimizer相同。
新增AdamW类 继承自DecoupledWeightDecay、Adam
英文文档PR:https://github.com/PaddlePaddle/Paddle/pull/26288 英文文档修改PR:https://github.com/PaddlePaddle/Paddle/pull/26711