diff --git a/tutorial/autofinetune.md b/tutorial/autofinetune.md index ffb4a3b9973ba31961328c14ec30b1c0565be58c..d402d3d02e2b4f43a139a4bb3b23d4aa225b325b 100644 --- a/tutorial/autofinetune.md +++ b/tutorial/autofinetune.md @@ -4,7 +4,7 @@ 目前深度学习模型参数可分类两类:*模型参数 (Model Parameters)* 与 *超参数 (Hyper Parameters)*,前者是模型通过大量的样本数据进行训练学习得到的参数数据;后者则需要通过人工经验或者不断尝试找到最佳设置(如学习率、dropout_rate、batch_size等),以提高模型训练的效果。如果想得到一个效果好的深度学习神经网络模型,超参的设置非常关键。因为模型参数空间大,目前超参调整都是通过手动,依赖人工经验或者不断尝试,且不同模型、样本数据和场景下不尽相同,所以需要大量尝试,时间成本和资源成本非常浪费。PaddleHub AutoDL Finetuner可以实现自动调整超参数。 -PaddleHub AutoDL Finetuner提供两种超参优化策略: +PaddleHub AutoDL Finetuner提供两种超参优化算法: * **HAZero**: 核心思想是通过对正态分布中协方差矩阵的调整来处理变量之间的依赖关系和scaling。算法基本可以分成以下三步: 1. 采样产生新解