节咱们举例子讲到如何计算马尔可夫的值函数，本章节主要介绍一些常用的算法。值迭代算法对$i \in S$通过计算$$v^{n+1}(i)=max_{a \in A(i)}\{r(i,a)+\beta \sum_{j \in S} p(j|i,a)v^{n}(j)\}$$如果$$v^{n+1}(i)-v^{n}(i)<\frac{\sigma(1-\beta)}{2\beta}$$进入下一步，否

决策者在整个决策阶段收到一系列的报酬折现以后累加起来就是具体的效用函数，我们称之为无限阶段的折扣模型。具体的表达如下$$V_{\beta}(i,\pi)=\sum_{0}^{\infty} \beta^{t} E_{\pi}^{i}[r(Y_{t}, \Delta_{t})]$$从上面的表达式折扣因子就是$\beta$, $\Delta_{t}$表示采用不同的动作，$Y_{t}$表示状态的变换。这

马尔可夫决策过程的经典五元组，我们再来看看。$${T, S, A(i), p(*|i,a), r(i,a)}$$这就是构成马尔可夫决策过程的环境，当你在业务问题找到这些变量的关系的，就能够使用马尔可夫决策构造一个经典的模型。本章节我们来讲解有限阶段模型。最优准则我们先来介绍报酬效用函数的定义

马尔可夫决策被经常用在序列决策的场景中，例如强化学习中说到的迷宫问题，以及翻阅本站点曾经讲到的MM（map match）路网匹配问题等等，都是这类理论一个比较的应用，目的是在一个决策空间内，做一系列的决策从而保证最后的结果是最优的。现在我们要开始学习马尔可夫决策过程的相关理论和知识啦，这部分知识其实是十分复杂、枯燥、无味的，但是作为强化学习的最基础的理论，又是逃不掉的一部分，随意要尝试硬着头皮看看

马尔可夫决策过程提供了基本的理论框架，几乎所有的马尔可夫学习问题都可以使用MDP的决策过程建模。而本节讲的贝尔曼方程是马尔可夫决策过程用到最基础的方程。贝尔曼方程方程也被成为动态规划方程，贝尔曼方程表达了当前值函数（或行为值函数）和它后继值函数的关系，以及值函数与行为函数之间的关系。而贝尔曼最优方程

强化学习简介首先我们来说下深度学习或者机器学习这个范畴，众所周知，深度学习此类学习方式是典型的端到端的学习方式，什么是端到端呢？就是我直接给你结果，你根据输入来告诉学习中间的过程，而中间的过程一般就是矩阵参数。对比而言呢，强化学习其实一个序列决策，一听到这里第一个不同就是我们是在一个序列过程中做决策

Google的两位创始人都是斯坦福大学的博士生，他们提出的PageRank算法受到了论文影响力因子的评价启发。当一篇论文被引用的次数越多，证明这篇论文的影响力越大。正是这个想法解决了当时网页检索质量不高的问题。PageRank的计算过程最初pagerank算法是解决搜索引擎中的页面权重问题的，简而言