咱们继续讲解可解释性机器学习，咱们开始一起来看看一些算法啦。先从简单的算法开始。

xgboost是非常常用的机器学习框架，本章我们仅仅从应用角度来讲，xgboost到底能干什么，通过其他文章我们再了解它是怎么做的，这个也比较符合我们的认知过程，能干什么和怎么干。二分类问题84,051

由前述内容可知，XGBoost是由多棵决策树（即CART回归树）构成的，那么多棵决策树是如何协作的呢？此时便用到了Boosting技术。Boosting的基本思想是将多个弱学习器通过一定的方法整合为一个强学习器。在分类问题中，虽然每个弱分类器对全局的预测准确率不高，但可能对数据某一方面的预测准确率非常高，将很多局部预测准确率非常高的弱分类器进行组合，即可达到全局预测准确率高的强分类器的效果。Ada

最近因为工作原因，需要重新回顾xgboost，原来我个人也仅仅限制于使用，没有过多总结，借着这次机会，正好回顾一下这款神器。提到xgboost就必须要提一下cart树，这个是xgboost的基本组成单元。cart树之前微博中提到决策树，可能包括ID3和cs4.5这些算法，其实cart树和这些算法没有什么本质的区别，都是找到一些分割点，然后构建决策树，这里我们主要介绍一下cart的细节，其实这个也是

决策树算法是一个比较简单的树模型算法,使用熵的概念构建一颗可以做决策的树,比较有意思决策树是一个贪心算法，在特征空间内进行递归的二分分割。决策树由节点和边组成，内部节点是一个特征，叶子节点表示一个分类。实际上决策树表示的是在给定特征空间中，类别的一个条件概率。决策树的3个步骤1.特征选择2.决策树生

集成学习在数据疯狂增长的今天，单个学习器似乎不能满足我们对于数据挖掘的要求，这个时候我们需要讲多个学习器集成使用，从而提高整个学习器的泛华能力。目前的集成学习方法大致可分为两大类?即个体学习器问存在强依赖关系、必须串行生成的序列化方法?以及个体学习器间不存在强依赖关系、可同时生成的并行化方法;前者的