上篇文章咱们介绍了Qlearning，这个时候正好我们就机会来详细看看DQN的学习方式，同样的之前的章节中我们介绍了DQN的原理，但是没有一个特别好的例子，本节咱们就来补上这一块。DQN的使用场景就是我们发现使用Qlearning能够在离散状态空间下解决任何强化学习问题，但是如果状态空间是无限的或者是连续的怎么办呢？ DQN的核心思路是将原有的离散状态空间表示为一个函数f。$$f(s,a)=Q(s

通过这一个系列的学习，是否发现学习了很多东西，又好像啥也没学到，学习经常就是这样一个状态，第一个学习的时候往往都是伪装自己明白啦，当某个时间点真正用到了，才知道原来这些知识能够这样的使用，本章咱们就为Qlearning讲解一个例子，方便我们理解。放学去网吧下面这个例子，咱们举一个放学去网吧的例子吧，空间图如下图。左上角的小孩就是你，中间的是老师，碰到老师肯定就不会让你去网吧啦，右下角的是最终目标带

我们之前的讲解分为两部分，一个是直接从经验数据中学习值函数，一个是基于策略函数方法，直接从经验数据学习策略。而这节中主要介绍如何从经验数据直接学习模型，通过这个产生一系列模拟数据，在基于这些数据学习最优值函数或者最优策略。学习和规划是强化学习的两大类方法。学习针对的是环境模型未知的情况下，智能体通过

之前我们的章节中介绍的是值函数可以表示为奇函数和参数线性组合的方式逼近，但是这类函数的拟合能力是有限的，对于值函数为非线性的情况下拟合能力就不足了。本章要讲解的就是在非线性环境下如何做到值函数逼近。当时我们拟合非线性的值函数，肯定是考虑深度学习的方法，这也就是为什么会有深度强化学习一说啦。DQNDQ

之前的学习中，我们了解到学习强化学习的数据是完整的采样轨迹(蒙特卡洛方法)，使用动态规划需要采用自举的方法，使用后继的值函数估计当前的值函数，本章要介绍的实际上是这两种方法的结合，叫做时序差分。我们首先来回顾一下原来值函数的估计方程。