因果推断(二)--最小二乘法

今天我们来看看机器学习入门课程中的最小二乘法，是不是感觉咱们越学习越回退啦，其实学习的过程是这个样子，你知道的越多，你之前的认知发生改变的概率越大，可能之前是硬性的理解，现在是真正的理解，好啦，话不多说，咱们来看看从因果推断的角度如何看待最小二乘法这个算法。

回归模型使用如下的表达式

Y=X'\beta + \epsilon \tag{1.1} \\ E(\epsilon|X)=0

其中 $\beta$ 是学习的系数，而X’是解释变量， $\epsilon$ 是残差，这个回归模型对应的CEF（条件期望函数）是

E(Y|X)=X'\beta + \epsilon \tag{1.2}

我们发现这个CEF可以是因果关系，也可以是相关关系。如上节讲到的，要看 $\epsilon$ 是否有影响解释变量的因素存在。
我们通过最小二乘法求解 $\hat{\beta}$ ，就是最小化被解释变量值Y和解释变量X的线性预测值 $Y'=X'b$ 的残差平方的期望值，也即是求解如下的方程

\hat{\beta}=argmin\ E(Y-X'b)^{2} \tag{1.3}

上式最小化的条件就是对b的一阶导数为0，这都快回到高中啦。也就是 $\hat{\beta}$ 满足

E[X(Y-X' \hat{\beta})]=0 \tag{1.4}

同等于

E(X \epsilon)=0

由此可见，最小二乘法的本质是求解系数 $\hat{\beta}$ ，使得解释变量X和残差 $\epsilon$ 不相关。等式1.4的解为

\hat{\beta}=E(XX')^{-1}E(XY) \tag{1.5}

将回归模型1.1带入到1.5

\hat{\beta}=E(XX')^{-1}E(XY) \\ =E(XX')^{-1}E(X(X'\beta+\epsilon)) \\ =\beta+E(XX')^{-1}E(X \epsilon)

其中 $E(XX')^{-1}E(X \epsilon)$ 是差异项，当 $E(X\epsilon)=0$ 的时候，就意味着 $\hat{\beta}=\beta$ .
通过上面的分析，我们是能够得到这样的结论。

如果对应条件的期望函数是因果关系的CEF，那么求出来的 $\beta$ 就是因果关系的解释
如果对应条件的期望函数是相关关系的CEF，那么求出来的\hat{\beta}仅仅具有相关关系的解释

多元回归系数的直观理解

从上面的学习中，我们通过最小二乘法的求解过程，推导了一下它们之间的关系，本节我们通过最直观的方式理解最小二乘法，也就是说最小二乘法是如何解析多个影响因子的系数关系呢？这里我们还通过EDU和IQ对INC的影响这样的案例来学习。我们来分析以下三种情形

INC、EDU和IQ的变化都是相关的

我们如果直接将INC和EDU进行回归，就是图中2和3的信息被用于估计EDU和INC的关系，这样得出的系数反应的是INC和EDU的相关性，也就是 $r_{1}$ ,1和4是INC变化和EDU无关的部分，也就是INC对EDU回归残差的变化。以此类推每两部分的关系都如上描述，但是将INC和EDU和IQ同时回归，情况就不太一样。EDU的影响是 $\beta_{1}$ 是有2造成的，IQ影响的 $\beta_{2}$ 是因为4造成的。这里的关键是，为什么舍去了3的信息呢？这样做的原因是。3是EDU、IQ公共变化的部分。这些变化对INC的影响是不确定的，所以就索性忽略掉。2和4反而是直接与INC相关的部分，使用2和4的信息估计对INC的影响也就是因果的关系。这里咱们进一步映射一下，咱们求偏导数的过程，是假设另一个变量为常数，对其中一个因变量求导，是不是和咱们讲的这个过程十分相似。

EDU和IQ重合面积大

这里描述的情形就是EDU和IQ严重共线的情况，在这种情况下，能提供给我们分布估计EDU和IQ对INC的影响非常少，回归出来的结果 $\beta_{1}$ 和 $\beta_{2}$ 在统计上很难统计显著，在极端情况下，当EDU和IQ重合的时候，没有2和4求解系数，此时无法估计 $\beta_{1}$ 和 $\beta_{2}$ 。