之前的讲解中，我们基本不会涉及样本的选取，但是在实际的场景中是使用样本观测值去估计回归模型里的系数，所以样本的选取对于分析问题起到至关重要的作用。固定解释变量固定解释变量是指解释变量在重复抽样中，因为实验条件可以人为的固定解释变量的数值。例如在农业实验中，可以将浇水量和施肥量作为解释变量X，将产量作为被解释变量。很明显以上两个变量是可以控制的。那么在固定解释变量下会存在如下的假设。解释变量是固定值

接下来我们要介绍的算法都与图有关，那么我们就来先定义一下图。V表示网络中的节点，A表示网络中的弧。接下来咱们就来看下最小费用最大流问题。OOI最优炉OOI是位于威斯康星洲和亚拉巴马州的工厂制造家用烤面包炉。制成炉子会有火车运输到OOI位于孟菲斯和匹兹堡两个仓库之一，而后被分销到弗雷斯诺、皮奥利亚和纽瓦克的顾客站点。两个仓库也可以用公司的货车运用少量炉子。我们的任务是做新型的E27炉子下个月的一个分

内生性会造成最小二乘法的系数估计有偏。这里我们需要了解几个问题。什么是内生性所谓偏差究竟是估计系数对谁的偏差内生性为什么会导致偏差从广义上讲如果给定的线性回归模型$Y=\alpha+\beta_{1}X_{1}+...+\beta_{k}X_{k}+e$，如果干扰项和解释变量是相关的，那么我们就可以说这个线性模型存在内生性的问题。第二个问题，在因果关系分析中，所谓的偏差是指希望求得的反应因果关系的

之前的章节中我们知道，xgboot是可以根据不同场景自定义损失函数的，如果我有一个损失函数，那么我究竟如何通过自定义的方式给到xgb呢，以及我最终的一阶导数和二阶导数到底是相对谁而言的呢？自定义损失函数这里我通过一个完整的例子来看看如果我有一个损失函数，怎么使用到我的xgboost模型的。我们来看

今天我们来看看机器学习入门课程中的最小二乘法，是不是感觉咱们越学习越回退啦，其实学习的过程是这个样子，你知道的越多，你之前的认知发生改变的概率越大，可能之前是硬性的理解，现在是真正的理解，好啦，话不多说，咱们来看看从因果推断的角度如何看待最小二乘法这个算法。回归模型使用如下的表

讲线性回归之前，我们先来接受因果推断的一些名词，充充场面。记得咱们上节讲的教育程度（EDU）对收入（INC）的因果影响吗？这里我们将EDU和INC称为可观测变量,EDU也称为处置变量，智商（IQ）是另一个可观测变量。由于EDU和IQ都会影响收入INC，它们同时被称为解释变量，INC称为被解释变量。要单独估计EDU和INC的因果影响要控制IQ对INC的影响。我们经常把无法观测的变量称为干扰项e，所以

这个系列我们来介绍一下因果推断，这个时候第一反应应该是因果推断是什么呢？解决什么问题的呢？咱们举几个例子来说明下，例如你会不会经常有这样的疑问？读博士能增加收入吗？如果能增加增加多少呢？其实这其中就包含了因果推断的内容，表面你是抛出了一个疑问，其实你是想了解读博士和收入增加有没有因果关系，“别人家的孩子”的成就中，读取博士到底与他们的生活有多大关系。是不是因为读取了博士才能收入高高。废话了这么多，

之前我们讲了很多xgboost的特性用法等等，接下来我们需要回答的一个问题是xgboost能够与其他模型融合吗？怎么融合？xgboost和DNN模型融合当我们使用xgboost的时候经常会发现，很多场景下我们只用xgboost模型的效果就能够达到一个最佳的效果，使用深度神经网络反而没有xgboost的效果好，这个经常让我们十分头疼，我想做点更nb的东西逻辑就这么难吗？其实个人认为xgboost效果

之前我们介绍的大部分方法都是一个目标函数，但是在我们的实际生活中往往很多问题都是有多个目标的问题，要么我们通过加权平均形成一个综合的目标函数，要么就是将问题抽象成一个多目标优化的问题，本章将会介绍这个方法，目标规划。银行投资问题每个投资者在决定如何分配可用的资本的时候需要权衡收益和风险。一般来讲能承诺最高回报的投资机会总是伴随着极大的风险。商业银行在平衡收益和风险尤其谨慎。因为法律和伦理道德要求它

线性模型总是比非线性模型更加受欢迎，非线性模型通常是无法避免的，这里我们来介绍一些能够将非线性模型转化为线性模型的例子。通常我们遇到的非线性模型一般有极大化极小，极小化极大，以及最小化偏差。高速公路巡逻队这是一个真实的资源分配问题，巡逻队希望把巡逻员分配到不同的高速公路上，以最大限制的降低超速。下表列出了可用的数据，为了方便记忆。$j$表示高速公路的路段号。12345678巡逻员人数上限，$u_j

XGBoost不仅实现了以CART为基础的树模型，还实现了一个以ElasticNet和并行坐标下降为基础的线性模型，此时XGBoost相当于一个同时带有L1正则和L2正则的逻辑回归（分类问题）或者线性回归（回归问题）。通过对前面章节的学习，我们对XGBoost的树模型有了一个比较深入的理解。本节将介绍XGBoost线性模型的实现原理。ElasticNet回归在统计学模型中，回归分析是评估变量间关系

RankNet是一种pairwise的排序方法，它将排序问题转换为比较$<d_{i},d_{j}>$对的排序概率问题，即比较$d_{i}$排在$d_{j}$前面的概率。RankNet提出了一种概率损失函数来学习排序模型，并通过排序模型对文档进行排序。这里的排序模型可以是任意对参数可微的模型，如增强树、神经网络等。