diff --git a/demo/reading-comprehension/README.md b/demo/reading-comprehension/README.md index 5170c70767308a8e532082b7588c6008cc109b60..04e608e07048028bf75239a03b2599bc69b3cff6 100644 --- a/demo/reading-comprehension/README.md +++ b/demo/reading-comprehension/README.md @@ -78,9 +78,12 @@ config = hub.RunConfig(use_cuda=True, num_epoch=2, batch_size=12, strategy=strat 针对ERNIE与BERT类任务,PaddleHub封装了适合这一任务的迁移学习优化策略`AdamWeightDecayStrategy` `learning_rate`: Finetune过程中的最大学习率; + `weight_decay`: 模型的正则项参数,默认0.01,如果模型有过拟合倾向,可适当调高这一参数; + `warmup_proportion`: 如果warmup_proportion>0, 例如0.1, 则学习率会在前10%的steps中线性增长至最高值learning_rate; -`lr_scheduler`: 有两种策略可选(1) `linear_decay`策略学习率会在最高点后以线性方式衰减; `noam_decay`策略学习率会在最高点以多项式形式衰减; + +`lr_scheduler`: 有两种策略可选(1) `linear_decay`策略学习率会在最高点后以线性方式衰减; `noam_decay`策略学习率会在最高点以多项式形式衰减; #### 运行配置 `RunConfig` 主要控制Finetune的训练,包含以下可控制的参数: