平均值DQN是基于传统的DQN的一个简单但是非常有效的一个改进，它基于对先前学习过程中的Q值估计进行平均，通过减少目标价值函数中的近似误差方差，使得训练过程更加稳定，并提高性能。至于网络结构上是完全一致的。算法分析平均值DQN主要关注传统DQN学习过程中存在的误差，并想办法减少这些误差。Q(s,a;θi)Q(s,a;\theta_{i})Q(s,a;θi​)表示第i次迭代的值函数，Δi=Q(s,a

Dueling DQNDueling DQN（竞争强化网络）的思路是将原始的Q值，拆成两个部分，一部分是动作无关的值函数V，另一个是在这个状态下各个动作的优势函数a。下图让我们看下一个Dueling DQN和传统DQN网络的区别，这个也是唯一的区别。主要的区别是在末尾出的特征拆解，上路用于预测V，表示静态状态空间的本身具有的价值，一部分用于预测a，表示选择动作以后获得的额外价值。然后汇聚到一起预测

决策者在整个决策阶段收到一系列的报酬折现以后累加起来就是具体的效用函数，我们称之为无限阶段的折扣模型。具体的表达如下$$V_{\beta}(i,\pi)=\sum_{0}^{\infty} \beta^{t} E_{\pi}^{i}[r(Y_{t}, \Delta_{t})]$$从上面的表达式折扣因子就是$\beta$, $\Delta_{t}$表示采用不同的动作，$Y_{t}$表示状态的变换。这

马尔可夫决策过程的经典五元组，我们再来看看。$${T, S, A(i), p(*|i,a), r(i,a)}$$这就是构成马尔可夫决策过程的环境，当你在业务问题找到这些变量的关系的，就能够使用马尔可夫决策构造一个经典的模型。本章节我们来讲解有限阶段模型。最优准则我们先来介绍报酬效用函数的定义

咱们第三节介绍了基于模型的强化学习方法，动态规划计算值函数的公式。$$V_{π}(s)=\sum_{a\inA}π(a|s)(R_+\gamma\sum_{s'\inS}P_{ss'}V_{π}(s'))\tag{3.1}$$

马尔可夫决策过程提供了基本的理论框架，几乎所有的马尔可夫学习问题都可以使用MDP的决策过程建模。而本节讲的贝尔曼方程是马尔可夫决策过程用到最基础的方程。贝尔曼方程方程也被成为动态规划方程，贝尔曼方程表达了当前值函数（或行为值函数）和它后继值函数的关系，以及值函数与行为函数之间的关系。而贝尔曼最优方程