基于策略的深度强化学习循环确定性策略梯度(RDPG)RDPG属于策略梯度算法。和前面讲到的基于值函数的训练方法不同，策略通过计算梯度更新策略网络中的参数，使得整个策略朝着奖励增高的方向更新。

平均值DQN是基于传统的DQN的一个简单但是非常有效的一个改进，它基于对先前学习过程中的Q值估计进行平均，通过减少目标价值函数中的近似误差方差，使得训练过程更加稳定，并提高性能。至于网络结构上是完全一致的。算法分析平均值DQN主要关注传统DQN学习过程中存在的误差，并想办法减少这些误差。Q(s,a;θi)Q(s,a;\theta_{i})Q(s,a;θi​)表示第i次迭代的值函数，Δi=Q(s,a

Dueling DQNDueling DQN（竞争强化网络）的思路是将原始的Q值，拆成两个部分，一部分是动作无关的值函数V，另一个是在这个状态下各个动作的优势函数a。下图让我们看下一个Dueling DQN和传统DQN网络的区别，这个也是唯一的区别。主要的区别是在末尾出的特征拆解，上路用于预测V，表示静态状态空间的本身具有的价值，一部分用于预测a，表示选择动作以后获得的额外价值。然后汇聚到一起预测

上篇文章咱们介绍了Qlearning，这个时候正好我们就机会来详细看看DQN的学习方式，同样的之前的章节中我们介绍了DQN的原理，但是没有一个特别好的例子，本节咱们就来补上这一块。DQN的使用场景就是我们发现使用Qlearning能够在离散状态空间下解决任何强化学习问题，但是如果状态空间是无限的或者是连续的怎么办呢？ DQN的核心思路是将原有的离散状态空间表示为一个函数f。$$f(s,a)=Q(s

通过这一个系列的学习，是否发现学习了很多东西，又好像啥也没学到，学习经常就是这样一个状态，第一个学习的时候往往都是伪装自己明白啦，当某个时间点真正用到了，才知道原来这些知识能够这样的使用，本章咱们就为Qlearning讲解一个例子，方便我们理解。放学去网吧下面这个例子，咱们举一个放学去网吧的例子吧，空间图如下图。左上角的小孩就是你，中间的是老师，碰到老师肯定就不会让你去网吧啦，右下角的是最终目标带

之前咱们的介绍解决的是当值状态接近于无限或者连续的时候采用DQN方法，下面我们来想另一个场景，如果我们的动作空间无限大或者连续呢，是不是基于值函数的迭代就不是那么适用啦，这就是本章要介绍的随机梯度策略。这个时候我考虑将策略参数化，利用线性函数或者非线性函数表示策略，就是$π_{\theta}(s)$

之前我们的章节中介绍的是值函数可以表示为奇函数和参数线性组合的方式逼近，但是这类函数的拟合能力是有限的，对于值函数为非线性的情况下拟合能力就不足了。本章要讲解的就是在非线性环境下如何做到值函数逼近。当时我们拟合非线性的值函数，肯定是考虑深度学习的方法，这也就是为什么会有深度强化学习一说啦。DQNDQ