深度学习_L2正则化
创始人
2024-05-24 00:36:19

文章目录

  • 参考博客
  • 正则化介绍
  • 正则化的实现

参考博客

深入理解L1、L2正则化
PyTorch 实现L2正则化以及Dropout的操作

正则化介绍

正则化(Regularization)是机器学习中一种常用的技术,其主要目的是控制模型复杂度,减小过拟合。最基本的正则化方法是在原目标(代价)函数 中添加惩罚项,对复杂度高的模型进行“惩罚”。其数学表达形式为:
Jˇ(w;X,y)=J(w;X,y)+αΩ(w)\check{J}(w; X, y)=J(w; X, y) + \alpha\Omega(w)Jˇ(w;X,y)=J(w;X,y)+αΩ(w)
式中X,yX, yX,y为训练样本和相应标签, www为权重系数向量; J()J()J()为目标函数, Ω(w)\Omega(w)Ω(w)即为惩罚项, 可理解为模型"规模"的某种度量; 参数α\alphaα控制正则化的强弱. 不同的Ω\OmegaΩ函数对权重w的最优解有不同的偏好, 因而会产生不同的正则化效果. 最常用的Ω\OmegaΩ函数有两种, 即l1l_1l1​范数与l2l_2l2​范数, 相应称之为l1l_1l1​正则化和l2l_2l2​正则化.此时有:
l1:Ω(w)=∣∣w∣∣1=∑i∣wi∣l_1: \Omega(w)=||w||_1=\sum_i|w_i|l1​:Ω(w)=∣∣w∣∣1​=∑i​∣wi​∣
l2:Ω(w)=∣∣w∣∣2=∑iwi2l_2: \Omega(w)=||w||_2=\sqrt{\sum_iw_i^2}l2​:Ω(w)=∣∣w∣∣2​=∑i​wi2​​

正则化的实现

在Pytorch中正则化的实现只需要一行代码, 如下:

optimizer = torch.optim.SGD(model.parameters(), \
lr=config.learning_rate, momentum=0.9, weight_decay=0.000001)

在这个函数调用中weight_decay=0.001weight\_decay=0.001weight_decay=0.001就是L2范数.

相关内容

热门资讯

重大通报作弊器!乐乐上海麻将a... 重大通报作弊器!乐乐上海麻将ai智能透视辅助插件,乐乐上海麻将本来存在有外挂(有辅助挂方略)1、很好...
分享给玩家透视挂!家乡大贰ai... 分享给玩家透视挂!家乡大贰ai智能透视辅助工具,家乡大贰其实真的有外挂(有辅助挂细节)家乡大贰破解侠...
科普攻略开挂!英豪娱乐城ai智... 科普攻略开挂!英豪娱乐城ai智能透视辅助教程,英豪娱乐城好像真的是有外挂(有辅助挂头条)1、英豪娱乐...
总算了解辅助器!和悦游戏ai智... 总算了解辅助器!和悦游戏ai智能透视辅助教程,和悦游戏确实是真的有外挂(竟然有辅助挂)暗藏猫腻,小编...
揭秘关于辅助器!九九麻将ai智... 揭秘关于辅助器!九九麻将ai智能透视辅助技巧,九九麻将一贯是有外挂(有辅助挂方略)1、用户打开应用后...