马尔可夫决策过程(三)--值迭代算法

节咱们举例子讲到如何计算马尔可夫的值函数，本章节主要介绍一些常用的算法。值迭代算法对$i \in S$通过计算$$v^{n+1}(i)=max_{a \in A(i)}\{r(i,a)+\beta \sum_{j \in S} p(j|i,a)v^{n}(j)\}$$如果$$v^{n+1}(i)-v^{n}(i)<\frac{\sigma(1-\beta)}{2\beta}$$进入下一步，否

Thu Dec 23

强化学习基础强化学习

马尔可夫决策过程(二)--无限阶段折扣模型

决策者在整个决策阶段收到一系列的报酬折现以后累加起来就是具体的效用函数，我们称之为无限阶段的折扣模型。具体的表达如下$$V_{\beta}(i,\pi)=\sum_{0}^{\infty} \beta^{t} E_{\pi}^{i}[r(Y_{t}, \Delta_{t})]$$从上面的表达式折扣因子就是$\beta$, $\Delta_{t}$表示采用不同的动作，$Y_{t}$表示状态的变换。这

Sun Dec 19

强化学习基础强化学习

马尔可夫决策过程(一)--有限阶段模型

马尔可夫决策过程的经典五元组，我们再来看看。$${T, S, A(i), p(*|i,a), r(i,a)}$$这就是构成马尔可夫决策过程的环境，当你在业务问题找到这些变量的关系的，就能够使用马尔可夫决策构造一个经典的模型。本章节我们来讲解有限阶段模型。最优准则我们先来介绍报酬效用函数的定义

Thu Dec 16

强化学习

马尔可夫决策过程(零)--问题介绍

马尔可夫决策被经常用在序列决策的场景中，例如强化学习中说到的迷宫问题，以及翻阅本站点曾经讲到的MM（map match）路网匹配问题等等，都是这类理论一个比较的应用，目的是在一个决策空间内，做一系列的决策从而保证最后的结果是最优的。现在我们要开始学习马尔可夫决策过程的相关理论和知识啦，这部分知识其实是十分复杂、枯燥、无味的，但是作为强化学习的最基础的理论，又是逃不掉的一部分，随意要尝试硬着头皮看看

马尔可夫决策过程(三)--值迭代算法

马尔可夫决策过程(二)--无限阶段折扣模型

马尔可夫决策过程(一)--有限阶段模型

马尔可夫决策过程(零)--问题介绍

分类

标签云

最新文章

标签

最新文章

Your browser is out-of-date!