网站建设文档深圳网络推广代运营
文章目录
- 参考博客
- 正则化介绍
- 正则化的实现
参考博客
深入理解L1、L2正则化
PyTorch 实现L2正则化以及Dropout的操作
正则化介绍
正则化（Regularization）是机器学习中一种常用的技术，其主要目的是控制模型复杂度，减小过拟合。最基本的正则化方法是在原目标（代价）函数 中添加惩罚项，对复杂度高的模型进行“惩罚”。其数学表达形式为：
Jˇ(w;X,y)=J(w;X,y)+αΩ(w)\check{J}(w; X, y)=J(w; X, y) + \alpha\Omega(w)Jˇ(w;X,y)=J(w;X,y)+αΩ(w)
式中X,yX, yX,y为训练样本和相应标签, www为权重系数向量; J()J()J()为目标函数, Ω(w)\Omega(w)Ω(w)即为惩罚项, 可理解为模型"规模"的某种度量; 参数α\alphaα控制正则化的强弱. 不同的Ω\OmegaΩ函数对权重w的最优解有不同的偏好, 因而会产生不同的正则化效果. 最常用的Ω\OmegaΩ函数有两种, 即l1l_1l1范数与l2l_2l2范数, 相应称之为l1l_1l1正则化和l2l_2l2正则化.此时有:
l1:Ω(w)=∣∣w∣∣1=∑i∣wi∣l_1: \Omega(w)=||w||_1=\sum_i|w_i|l1:Ω(w)=∣∣w∣∣1=∑i∣wi∣
l2:Ω(w)=∣∣w∣∣2=∑iwi2l_2: \Omega(w)=||w||_2=\sqrt{\sum_iw_i^2}l2:Ω(w)=∣∣w∣∣2=∑iwi2
正则化的实现
在Pytorch中正则化的实现只需要一行代码, 如下:
optimizer = torch.optim.SGD(model.parameters(), \
lr=config.learning_rate, momentum=0.9, weight_decay=0.000001)
在这个函数调用中weight_decay=0.001weight\_decay=0.001weight_decay=0.001就是L2范数.