马尔可夫决策过程的经典五元组，我们再来看看。$${T, S, A(i), p(*|i,a), r(i,a)}$$这就是构成马尔可夫决策过程的环境，当你在业务问题找到这些变量的关系的，就能够使用马尔可夫决策构造一个经典的模型。本章节我们来讲解有限阶段模型。最优准则我们先来介绍报酬效用函数的定义

马尔可夫决策被经常用在序列决策的场景中，例如强化学习中说到的迷宫问题，以及翻阅本站点曾经讲到的MM（map match）路网匹配问题等等，都是这类理论一个比较的应用，目的是在一个决策空间内，做一系列的决策从而保证最后的结果是最优的。现在我们要开始学习马尔可夫决策过程的相关理论和知识啦，这部分知识其实是十分复杂、枯燥、无味的，但是作为强化学习的最基础的理论，又是逃不掉的一部分，随意要尝试硬着头皮看看

之前的章节中我们知道，xgboot是可以根据不同场景自定义损失函数的，如果我有一个损失函数，那么我究竟如何通过自定义的方式给到xgb呢，以及我最终的一阶导数和二阶导数到底是相对谁而言的呢？自定义损失函数这里我通过一个完整的例子来看看如果我有一个损失函数，怎么使用到我的xgboost模型的。我们来看

之前我们讲了很多xgboost的特性用法等等，接下来我们需要回答的一个问题是xgboost能够与其他模型融合吗？怎么融合？xgboost和DNN模型融合当我们使用xgboost的时候经常会发现，很多场景下我们只用xgboost模型的效果就能够达到一个最佳的效果，使用深度神经网络反而没有xgboost的效果好，这个经常让我们十分头疼，我想做点更nb的东西逻辑就这么难吗？其实个人认为xgboost效果

XGBoost不仅实现了以CART为基础的树模型，还实现了一个以ElasticNet和并行坐标下降为基础的线性模型，此时XGBoost相当于一个同时带有L1正则和L2正则的逻辑回归（分类问题）或者线性回归（回归问题）。通过对前面章节的学习，我们对XGBoost的树模型有了一个比较深入的理解。本节将介绍XGBoost线性模型的实现原理。ElasticNet回归在统计学模型中，回归分析是评估变量间关系

xgboost是非常常用的机器学习框架，本章我们仅仅从应用角度来讲，xgboost到底能干什么，通过其他文章我们再了解它是怎么做的，这个也比较符合我们的认知过程，能干什么和怎么干。二分类问题84,051

由前述内容可知，XGBoost是由多棵决策树（即CART回归树）构成的，那么多棵决策树是如何协作的呢？此时便用到了Boosting技术。Boosting的基本思想是将多个弱学习器通过一定的方法整合为一个强学习器。在分类问题中，虽然每个弱分类器对全局的预测准确率不高，但可能对数据某一方面的预测准确率非常高，将很多局部预测准确率非常高的弱分类器进行组合，即可达到全局预测准确率高的强分类器的效果。Ada

最近因为工作原因，需要重新回顾xgboost，原来我个人也仅仅限制于使用，没有过多总结，借着这次机会，正好回顾一下这款神器。提到xgboost就必须要提一下cart树，这个是xgboost的基本组成单元。cart树之前微博中提到决策树，可能包括ID3和cs4.5这些算法，其实cart树和这些算法没有什么本质的区别，都是找到一些分割点，然后构建决策树，这里我们主要介绍一下cart的细节，其实这个也是

什么是表示学习呢？说白了就是特征，机器学习算法的性能严重依赖特征。如果存在一种可以从数据中的到和判别特征的方法们就会减少机器学习对特征工程的依赖，这就是表示学习。离散表示这里虽然咱们单独拿出来讨论，但是其实特征的离散表示十分简单，就是独热编码，但是独热编码的缺点也是十分明显的。在向量空间中，所有的对

我们之前的讲解分为两部分，一个是直接从经验数据中学习值函数，一个是基于策略函数方法，直接从经验数据学习策略。而这节中主要介绍如何从经验数据直接学习模型，通过这个产生一系列模拟数据，在基于这些数据学习最优值函数或者最优策略。学习和规划是强化学习的两大类方法。学习针对的是环境模型未知的情况下，智能体通过