深度强化学习(三)-- 平均值DQN

基于值的深度强化学习算法

平均值DQN

平均值DQN是基于传统的DQN的一个简单但是非常有效的一个改进，它基于对先前学习过程中的Q值估计进行平均，通过减少目标价值函数中的近似误差方差，使得训练过程更加稳定，并提高性能。至于网络结构上是完全一致的。

算法分析

平均值DQN主要关注传统DQN学习过程中存在的误差，并想办法减少这些误差。
$Q(s,a;\theta_{i})$ 表示第i次迭代的值函数，

\Delta_{i}=Q(s,a;\theta_{i})-Q^{*}(s,a) \\ =Q(s,a;\theta_{i})-y^{i}_{s,a}+y^{i}_{s,a}-\hat{y}^{i}_{s,a}+\hat{y}^{i}_{s,a}-Q^{*}(s,a)

其中 $y^{i}_{s,a}$ 表示估计值， $\hat{y}^{i}_{s,a}$ 表示真实值。

$Z_{s,a}^{i}=Q(s,a;\theta_{i})-y^{i}_{s,a}$ 表示目标近似误差

$R_{s,a}^{i}=y^{i}_{s,a}-\hat{y}^{i}_{s,a}$ 表示过估计误差

$\hat{y}^{i}_{s,a}-Q^{*}(s,a)$ 最优差值。

y^{i}_{s,a}=E[r+\gamma max_{a'}Q(s',a';\theta_{t-1})|s,a] \\ \hat{y}^{i}_{s,a}=E[[r+\gamma max_{a'}(y^{i-1}_{s',a'}|s,a)]\\

由于传统的DQN总是选取目标价值最大的动作执行，因此容易导致过估计。 $Z_{s,a}^{i}$ 是在最小化DQN损失以后Q值和估计值 $y_{s,a}^{i}$ 的一个误差。 $Z_{s,a}^{i}$ 可能有多个原因造成。

由于不精确的最小化导致的参数 $\theta$ 不准
由于经验池复用的大小限制泛化误差

而这个误差有是影响比较大的问题。每次迭代都依赖这个值的预测准确性。我们假设 $Z_{s,a}^{i}$ 是一个随机过程， $E[Z_{s,a}^{i}]=0, Var=Z_{s,a}^{i}=\sigma^{2}$ 。那么对于均值DQN就能过得到

Q_{i}=Z_{i}+\gamma P \frac{1}{K} \sum_{k=1}^{K}Q_{i-k}

P表示转移矩阵， $S \times S$ , K表示最近K步的平均，进一步将模型转化为M状态的单项MDP。

那么下面方差的变化就是

VAR[Q_{i}^{A}(s_{0},a)]=\sum_{m=0}^{M-1} D_{k,m}\gamma^{2m}\sigma_{s_{m}}^{2}

其中
$D_{k,m}=\frac{1}{N} \sum_{n=1}^{n}|U_{n}/K|^{2(m+1)}$ ，并且 $U=(U_{n})_{n=0}^{n-1}$ 表示矩形脉冲是离散傅里叶变换，, $|U_{n}/K|<=1，D_{k,m}<\frac{1}{K}$ .
因此意味着平均值DQN理论上能够有效的减少近似误差并且至少比普通的DQN好K倍。