之前咱们的介绍解决的是当值状态接近于无限或者连续的时候采用DQN方法，下面我们来想另一个场景，如果我们的动作空间无限大或者连续呢，是不是基于值函数的迭代就不是那么适用啦，这就是本章要介绍的随机梯度策略。这个时候我考虑将策略参数化，利用线性函数或者非线性函数表示策略，就是$π_{\theta}(s)$

之前我们的章节中介绍的是值函数可以表示为奇函数和参数线性组合的方式逼近，但是这类函数的拟合能力是有限的，对于值函数为非线性的情况下拟合能力就不足了。本章要讲解的就是在非线性环境下如何做到值函数逼近。当时我们拟合非线性的值函数，肯定是考虑深度学习的方法，这也就是为什么会有深度强化学习一说啦。DQNDQ

现在我们可以回顾一下原来的知识，我们之前讲了那么多的算法，但是我们是不是都有一个假设，就是我们的状态空间都是有限的。然后我们使用内存存储每个状态的值函数，不断的进行更新这个值函数。如果是一个无限空间的场景我们将如何处理呢？这个时候已经没有足够的内存啦，我们往往需要使用近似的函数$V(s,\theta

我们之前讲过的蒙特卡洛方法和时序差分算法有一点不同点，当更新当前状态的值函数的时候，蒙特卡洛方法是使用整个轨迹来预估，而TD算法则是使用一段轨迹来预估，而这个一段轨迹一般是小于整条轨迹的。而通过利用不同的举例来估计，我就称为多步时序差分法也叫做资格迹法。而资格迹法一般又分为两个角度来计算。一种前项视

之前的学习中，我们了解到学习强化学习的数据是完整的采样轨迹(蒙特卡洛方法)，使用动态规划需要采用自举的方法，使用后继的值函数估计当前的值函数，本章要介绍的实际上是这两种方法的结合，叫做时序差分。我们首先来回顾一下原来值函数的估计方程。

咱们第三节介绍了基于模型的强化学习方法，动态规划计算值函数的公式。$$V_{π}(s)=\sum_{a\inA}π(a|s)(R_+\gamma\sum_{s'\inS}P_{ss'}V_{π}(s'))\tag{3.1}$$

动态规划动态规划相信大家都是了解的，这是一个运筹学的分支，其核心的思想是将一个大的问题分解成n个小问题，而要解决这个大问题，往往需要这些小问题的解，一般通过某些方式存储起来，从而节省大量时间。而马尔可夫就具有这样的特性，所有动态规划经常被用作解决强化学习问题的方法。策略评估我们在做强化学习的同时往往

马尔可夫决策过程提供了基本的理论框架，几乎所有的马尔可夫学习问题都可以使用MDP的决策过程建模。而本节讲的贝尔曼方程是马尔可夫决策过程用到最基础的方程。贝尔曼方程方程也被成为动态规划方程，贝尔曼方程表达了当前值函数（或行为值函数）和它后继值函数的关系，以及值函数与行为函数之间的关系。而贝尔曼最优方程

强化学习简介首先我们来说下深度学习或者机器学习这个范畴，众所周知，深度学习此类学习方式是典型的端到端的学习方式，什么是端到端呢？就是我直接给你结果，你根据输入来告诉学习中间的过程，而中间的过程一般就是矩阵参数。对比而言呢，强化学习其实一个序列决策，一听到这里第一个不同就是我们是在一个序列过程中做决策