基于策略的深度强化学习循环确定性策略梯度(RDPG)RDPG属于策略梯度算法。和前面讲到的基于值函数的训练方法不同，策略通过计算梯度更新策略网络中的参数，使得整个策略朝着奖励增高的方向更新。

今天咱们通过自然语言处理的视角重新看循环神经网络这一模型。模型结构

今天咱们就来看看第一个时序模型，可能有些同学都没有听说过这个模型，这个模型还是相对复杂的，接下来咱们来看看这个模型。 对于一般的时序任务，大家一般会想到NLP中的一些序列模型，LSTM、GRU等模型，这类方法都是给出一个确定的预测值，接下来咱们要介绍这个模型有一点不一样，DeepAR模型并不是直接简单地输出一个确定的预测值，而是输出预测值的一个概率分布，这样做其实有点好处，咱们给出的预测值其实很难

时间序列预测可以称得上是一个及其普遍的一个算法问题，解决的方法也比较成熟，你可能第一时间想到的就是AR模型，以及各种自回归模型。然后xgboost似乎也能做时序问题，只是将原有的问题当成回归问题即可，某种意义上可解释性也能够得到一定的满足。再然后就是GRU、LSTM这类循环神经网络，借鉴自NLP中使用深度模型来解决时序预测问题。除了以上的这类方法，你还能知道那些方法吗？接下来的这个系列一定能让你受

Seq2Seq模型对于一些自然语言处理任务，比如聊天机器人，机器翻译，自动文摘等，传统的方法都是从候选集中选出答案，这对素材的完善程度要求很高，随着最近几年深度学习的兴起，国外学者将深度学习技术应用与自然语言的生成和自然语言的理解的方面的研究，并取得了一些突破性的成果，比如，Sequence-to-

rnn对于一些初学者来说被当成直接跳过的内容，因为如果需要使用RNN，那还不如直接用LSTM，好吧这个思路貌似也没什么问题，但是对于学习这件事情来讲的话，其实RNN是一个新型的网络结构，跳出神经网络的那个固定模式的开始，对大家学习还是有百利而无一害的。拆了的RNN[RNN]的经典过程本站也做过讲解，可以跳转过去看看完全的RNN样子，本节就是要将这一结构拆开来看的。上图就是其中一个RNN结构，初始化

LSTM神经网络RNN的结构开始为了我们能够对比出两种网络的异同，我们还是给出一个泛化的简图。可以清楚看到整个网络虽然叠加多个神经元，但是每个神经元的处理逻辑单一，很容易将信息丢失。LSTM这个时候我们来进入LSTM的认识。LSTM同样是这样的结构，但是重复的模块拥有一个不同的结构。不同于单一神经网络层，这里是有四个，以一种非常特殊的方式进行交互。上面的图并不陌生，很多博客都能见得到，十分权威的一