From 688d2aa57982b63be691e61a91b8292840bf8ddb Mon Sep 17 00:00:00 2001 From: Steffy-zxf <48793257+Steffy-zxf@users.noreply.github.com> Date: Tue, 22 Oct 2019 17:22:58 +0800 Subject: [PATCH] Update autofinetune.md --- tutorial/autofinetune.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tutorial/autofinetune.md b/tutorial/autofinetune.md index ffb4a3b9..d402d3d0 100644 --- a/tutorial/autofinetune.md +++ b/tutorial/autofinetune.md @@ -4,7 +4,7 @@ 目前深度学习模型参数可分类两类:*模型参数 (Model Parameters)* 与 *超参数 (Hyper Parameters)*,前者是模型通过大量的样本数据进行训练学习得到的参数数据;后者则需要通过人工经验或者不断尝试找到最佳设置(如学习率、dropout_rate、batch_size等),以提高模型训练的效果。如果想得到一个效果好的深度学习神经网络模型,超参的设置非常关键。因为模型参数空间大,目前超参调整都是通过手动,依赖人工经验或者不断尝试,且不同模型、样本数据和场景下不尽相同,所以需要大量尝试,时间成本和资源成本非常浪费。PaddleHub AutoDL Finetuner可以实现自动调整超参数。 -PaddleHub AutoDL Finetuner提供两种超参优化策略: +PaddleHub AutoDL Finetuner提供两种超参优化算法: * **HAZero**: 核心思想是通过对正态分布中协方差矩阵的调整来处理变量之间的依赖关系和scaling。算法基本可以分成以下三步: 1. 采样产生新解 -- GitLab