本文主要介绍两类常以网络层形式添加模型结构中，一类是Dropout，一类是归一化。DropoutDropout是当发生过拟合以后，第一个考虑使用的网络结果。在训练、

背景标签平滑产生的背景是当我们的标注数据不能保证100%的准确性的时候，导致训练过程中过度的信赖标注，对训练效果产生比较大的影响。这个时候我们一般选用标签平滑的方式缓解这种问题。

本文咱们来看下L1正则化的深入分析。L1正则化的表达形式如下$$||w||_{1}=\sum_{i} |w_{i}|$$通过上面的计算方式能够看出L1正则化的计算方式是将所有权重的绝对值求和。接下来还是从线性回归中看L1正则化的影响。$$\bar{J}(w;X;y)=\alpha ||w||_{1} + J(w; X;y)$$对应的梯度为$$\triangledown_{w} \bar{J}(w;

之前有一篇博客已经讲解了正则化的一些知识，本文就深入一层看看每一种正则化到底对目标函数做了什么，让大家能够更加深入的了解正则化。现在介绍L2正则化的深入分析。L2参数正则化首先来看下带有正则化的损失函数。$$\bar{J(w;X;y)}=\frac{\alpha}{2}w^{t}w+J(w;X;y) \tag{1.1}$$对应的梯度为$$\triangledown \bar{J(w;X;y)}=\

XGBoost不仅实现了以CART为基础的树模型，还实现了一个以ElasticNet和并行坐标下降为基础的线性模型，此时XGBoost相当于一个同时带有L1正则和L2正则的逻辑回归（分类问题）或者线性回归（回归问题）。通过对前面章节的学习，我们对XGBoost的树模型有了一个比较深入的理解。本节将介绍XGBoost线性模型的实现原理。ElasticNet回归在统计学模型中，回归分析是评估变量间关系

xgboostxgboost可能是现在用的最多的模型了，炒的火热的深度学习解决实际业务的落地点还是比价少的，比起这种可解释模型，在工程界可能更加受追捧。xgboost的组成话说xgboost是由什么组成的呢？答案就是一堆CART树，但是有了这些CART树怎么做预测呢，难倒是投票，好吧也是一种方式，但

正则化正则化是结构风险最小化策略的实现，模型越复杂，正则化项越大（参数越多），所以正则化项可以采用参数向量的范数。正则化的目的是选择经验风险和复杂度同时最小的一个模型。正则化选择我们经常使用L1范数或是L2范数进行作为正则化项，甚至你还知道引入这种范数能够减低过拟合的问题，但是引入了正则化项就能防止过拟合呢？先看看这些范数都是怎么定义的。ω 是属性权重L0范数： ω 的非0元素的个数。L1范数：

线性回归线性回归被认为是很多机器学习书籍的入门模型，其实这个模型的地位并不轻，毕竟线性回归包含几乎所有机器学习方法的流程，所谓麻雀虽小，五脏俱全。下面我们就线性回归模型的一些知识。##理论数据形式对于线性回归我们面对的原始数据就是每一个维度的特征。原始数据：$$\vec{x}=(x{(1)})...