如何固定模型部分参数只训练另一部分参数
Created by: dubhex
模型由主干分支和次分支构成,次分支是在主干分支上后接出来的。现在主干分支已经训练好并将相关参数保存为params。在新的训练中,希望先加载主干部分参数并固定,只训练次分支的参数。 已经尝试过两种方法: (1)对于主干分支的层,设置paddle.fluid.ParamAttr中trainable=False; (2)对于主干分支的层,设置paddle.fluid.ParamAttr中learning_rate=0; 但是测试表明主干分支的参数被改变了,上述两种方法都不成功。 有两个问题: (1)使用上述两种方法时是否需要其它的设置? (2)是否有方法能够实现我的目的?