文章目录

• 参考博客
• 正则化介绍
• 正则化的实现

参考博客

深入理解L1、L2正则化
PyTorch 实现L2正则化以及Dropout的操作

正则化介绍

正则化（Regularization）是机器学习中一种常用的技术，其主要目的是控制模型复杂度，减小过拟合。最基本的正则化方法是在原目标（代价）函数 中添加惩罚项，对复杂度高的模型进行“惩罚”。其数学表达形式为：
Jˇ(w;X,y)=J(w;X,y)+αΩ(w)\check{J}(w; X, y)=J(w; X, y) + \alpha\Omega(w)Jˇ(w;X,y)=J(w;X,y)+αΩ(w)
式中X,yX, yX,y为训练样本和相应标签, www为权重系数向量; J()J()J()为目标函数, Ω(w)\Omega(w)Ω(w)即为惩罚项, 可理解为模型"规模"的某种度量; 参数α\alphaα控制正则化的强弱. 不同的Ω\OmegaΩ函数对权重w的最优解有不同的偏好, 因而会产生不同的正则化效果. 最常用的Ω\OmegaΩ函数有两种, 即l1l_1l1​范数与l2l_2l2​范数, 相应称之为l1l_1l1​正则化和l2l_2l2​正则化.此时有:
l1:Ω(w)=∣∣w∣∣1=∑i∣wi∣l_1: \Omega(w)=||w||_1=\sum_i|w_i|l1​:Ω(w)=∣∣w∣∣1​=∑i​∣wi​∣
l2:Ω(w)=∣∣w∣∣2=∑iwi2l_2: \Omega(w)=||w||_2=\sqrt{\sum_iw_i^2}l2​:Ω(w)=∣∣w∣∣2​=∑i​wi2​​

正则化的实现

在Pytorch中正则化的实现只需要一行代码, 如下:

optimizer = torch.optim.SGD(model.parameters(), \
lr=config.learning_rate, momentum=0.9, weight_decay=0.000001)

在这个函数调用中weight_decay=0.001weight\_decay=0.001weight_decay=0.001就是L2范数.