平均值DQN是基于传统的DQN的一个简单但是非常有效的一个改进，它基于对先前学习过程中的Q值估计进行平均，通过减少目标价值函数中的近似误差方差，使得训练过程更加稳定，并提高性能。至于网络结构上是完全一致的。算法分析平均值DQN主要关注传统DQN学习过程中存在的误差，并想办法减少这些误差。Q(s,a;θi)Q(s,a;\theta_{i})Q(s,a;θi​)表示第i次迭代的值函数，Δi=Q(s,a

上篇文章咱们介绍了Qlearning，这个时候正好我们就机会来详细看看DQN的学习方式，同样的之前的章节中我们介绍了DQN的原理，但是没有一个特别好的例子，本节咱们就来补上这一块。DQN的使用场景就是我们发现使用Qlearning能够在离散状态空间下解决任何强化学习问题，但是如果状态空间是无限的或者是连续的怎么办呢？ DQN的核心思路是将原有的离散状态空间表示为一个函数f。$$f(s,a)=Q(s

之前我们的章节中介绍的是值函数可以表示为奇函数和参数线性组合的方式逼近，但是这类函数的拟合能力是有限的，对于值函数为非线性的情况下拟合能力就不足了。本章要讲解的就是在非线性环境下如何做到值函数逼近。当时我们拟合非线性的值函数，肯定是考虑深度学习的方法，这也就是为什么会有深度强化学习一说啦。DQNDQ