本文想介绍一下MSE这个优化函数，通过MSE这个损失函数来看机器学习中一些底层的理论。标准方程J(θ)=E[(y−y^)2](1.1)J(\theta)=E[(y-\hat{y})^{2}] \tag{1.1}J(θ)=E[(y−y^​)2](1.1)公式1.1是均方误差的一个简单的表示，很明显我们就是要求的一个参数能够使得J(θ)J(\theta)J(θ)最小。最小化的代价函数J(θ)J(\th

咱们继续讲解可解释性机器学习，咱们开始一起来看看一些算法啦。先从简单的算法开始。

本文咱们来看下L1正则化的深入分析。L1正则化的表达形式如下$$||w||_{1}=\sum_{i} |w_{i}|$$通过上面的计算方式能够看出L1正则化的计算方式是将所有权重的绝对值求和。接下来还是从线性回归中看L1正则化的影响。$$\bar{J}(w;X;y)=\alpha ||w||_{1} + J(w; X;y)$$对应的梯度为$$\triangledown_{w} \bar{J}(w;

之前有一篇博客已经讲解了正则化的一些知识，本文就深入一层看看每一种正则化到底对目标函数做了什么，让大家能够更加深入的了解正则化。现在介绍L2正则化的深入分析。L2参数正则化首先来看下带有正则化的损失函数。$$\bar{J(w;X;y)}=\frac{\alpha}{2}w^{t}w+J(w;X;y) \tag{1.1}$$对应的梯度为$$\triangledown \bar{J(w;X;y)}=\

接着上文说假如$Y=\alpah + \betaX+e$以及

之前的讲解中，我们基本不会涉及样本的选取，但是在实际的场景中是使用样本观测值去估计回归模型里的系数，所以样本的选取对于分析问题起到至关重要的作用。固定解释变量固定解释变量是指解释变量在重复抽样中，因为实验条件可以人为的固定解释变量的数值。例如在农业实验中，可以将浇水量和施肥量作为解释变量X，将产量作为被解释变量。很明显以上两个变量是可以控制的。那么在固定解释变量下会存在如下的假设。解释变量是固定值

今天我们来看看机器学习入门课程中的最小二乘法，是不是感觉咱们越学习越回退啦，其实学习的过程是这个样子，你知道的越多，你之前的认知发生改变的概率越大，可能之前是硬性的理解，现在是真正的理解，好啦，话不多说，咱们来看看从因果推断的角度如何看待最小二乘法这个算法。回归模型使用如下的表

讲线性回归之前，我们先来接受因果推断的一些名词，充充场面。记得咱们上节讲的教育程度（EDU）对收入（INC）的因果影响吗？这里我们将EDU和INC称为可观测变量,EDU也称为处置变量，智商（IQ）是另一个可观测变量。由于EDU和IQ都会影响收入INC，它们同时被称为解释变量，INC称为被解释变量。要单独估计EDU和INC的因果影响要控制IQ对INC的影响。我们经常把无法观测的变量称为干扰项e，所以

XGBoost不仅实现了以CART为基础的树模型，还实现了一个以ElasticNet和并行坐标下降为基础的线性模型，此时XGBoost相当于一个同时带有L1正则和L2正则的逻辑回归（分类问题）或者线性回归（回归问题）。通过对前面章节的学习，我们对XGBoost的树模型有了一个比较深入的理解。本节将介绍XGBoost线性模型的实现原理。ElasticNet回归在统计学模型中，回归分析是评估变量间关系

线性回归线性回归被认为是很多机器学习书籍的入门模型，其实这个模型的地位并不轻，毕竟线性回归包含几乎所有机器学习方法的流程，所谓麻雀虽小，五脏俱全。下面我们就线性回归模型的一些知识。##理论数据形式对于线性回归我们面对的原始数据就是每一个维度的特征。原始数据：$$\vec{x}=(x{(1)})...