之前有一篇博客已经讲解了正则化的一些知识，本文就深入一层看看每一种正则化到底对目标函数做了什么，让大家能够更加深入的了解正则化。现在介绍L2正则化的深入分析。L2参数正则化首先来看下带有正则化的损失函数。$$\bar{J(w;X;y)}=\frac{\alpha}{2}w^{t}w+J(w;X;y) \tag{1.1}$$对应的梯度为$$\triangledown \bar{J(w;X;y)}=\

正则化正则化是结构风险最小化策略的实现，模型越复杂，正则化项越大（参数越多），所以正则化项可以采用参数向量的范数。正则化的目的是选择经验风险和复杂度同时最小的一个模型。正则化选择我们经常使用L1范数或是L2范数进行作为正则化项，甚至你还知道引入这种范数能够减低过拟合的问题，但是引入了正则化项就能防止过拟合呢？先看看这些范数都是怎么定义的。ω 是属性权重L0范数： ω 的非0元素的个数。L1范数：