From 18410b84047b94d7c21fac1435645f9a97d886df Mon Sep 17 00:00:00 2001 From: cuicheng01 <45199522+cuicheng01@users.noreply.github.com> Date: Mon, 20 Apr 2020 11:25:29 +0800 Subject: [PATCH] Update Tricks.md --- docs/zh_CN/models/Tricks.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/docs/zh_CN/models/Tricks.md b/docs/zh_CN/models/Tricks.md index 3fbea8ec..23ccab82 100644 --- a/docs/zh_CN/models/Tricks.md +++ b/docs/zh_CN/models/Tricks.md @@ -24,10 +24,12 @@ batch_size是训练神经网络中的一个重要的超参数，该值决定了 过拟合是机器学习中常见的一个名词，简单理解即为模型在训练数据上表现很好，但在测试数据上表现较差，在卷积神经网络中，同样存在过拟合的问题，为了避免过拟合，很多正则方式被提出，其中，weight_decay是其中一个广泛使用的避免过拟合的方式。Weight_decay等价于在最终的损失函数后添加L2正则化，L2正则化使得网络的权重倾向于选择更小的值，最终整个网络中的参数值更趋向于0，模型的泛化性能相应提高。在各大深度学习框架的实现中，该值表达的含义是L2正则前的系数，在paddle框架中，该值的名称是l2_decay，所以以下都称其为l2_decay。该系数越大，表示加入的正则越强，模型越趋于欠拟合状态。在训练ImageNet的任务中，大多数的网络将该参数值设置为1e-4，在一些小的网络如MobileNet系列网络中，为了避免网络欠拟合，该值设置为1e-5~4e-5之间。当然，该值的设置也和具体的数据集有关系，当任务的数据集较大时，网络本身趋向于欠拟合状态，可以将该值适当减小，当任务的数据集较小时，网络本身趋向于过拟合状态，可以将该值适当增大。下表展示了MobileNetV1_x0_25在ImageNet-1k上使用不同l2_decay的精度情况。由于MobileNetV1_x0_25是一个比较小的网络，所以l2_decay过大会使网络趋向于欠拟合状态，所以在该网络中，相对1e-4，3e-5是更好的选择。
+ | 模型 | L2_decay | Train acc1/acc5 | Test acc1/acc5 | |:--:|:--:|:--:|:--:| | MobileNetV1_x0_25 | 1e-4 | 43.79%/67.61% | 50.41%/74.70% | | MobileNetV1_x0_25 | 3e-5 | 47.38%/70.83% | 51.45%/75.45% | +
另外，该值的设置也和训练过程中是否使用其他正则化有关系。如果训练过程中的数据预处理比较复杂，相当于训练任务变的更难，可以将该值适当减小，下表展示了在ImageNet-1k上，ResNet50在使用randaugment预处理方式后使用不同l2_decay的精度。容易观察到，在任务变难后，使用更小的l2_decay有助于模型精度的提升。 -- GitLab