如果想看相关视频，可以在西瓜视频(账号zidea)或者李(账号zidea2015)上找我的视频解说。请注意，头像与简体字书中使用的一致。 马尔可夫决策过程(Markov decision processes)是强化学习的一个基本框架。概率论中常用马尔可夫链来研究随机变量，包括随机变量与随机变量之间的关系。 存在随机变量关系，在时间序列上相互关联。 那么如果我们把一组具有这样时间序列相关性的随机变量作为一个整体来研究，那就是一个随机过程。 马尔可夫链是一种特殊的随机过程，是具有马尔可夫属性的随机过程。 在我们详细讲马尔可夫性质之前，有两个性质是马尔可夫假设观测独立性假设，即下一个状态只取决于当前状态，与当前状态之间的状态无关。 如果某一过程满足马尔可夫特性，它独立于过去和未来，只与现在状态有关，具有这种性质的随机过程称为马尔可夫链过去状态集马尔可夫假设，其初衷是为了简化计算。 状态模型HMMKalman FilterPaticle Filter状态转移矩阵通常，我们研究的对象是离散状态，它们的状态是有限的。 马尔可夫状态转移矩阵用于描述动态特性。可以称为状态转移函数或状态转移概率。 马尔可夫链例子这是轨迹的概念。每条链都是一个轨迹马尔可夫奖励过程(MRPs)马尔可夫奖励过程，即马尔可夫链加上一个奖励函数定义了马尔可夫奖励过程(MRP)。s表示状态集P是一个动态/变迁模型，可以表示为R是报酬函数折扣因子。奖励过程被视为随波逐流，随着预先定义的状态转换而流动。 马尔可夫决策过程(MDPs)马尔可夫决策过程(MDP)，当我们购买一只股票，或者我们抛硬币来打赌，然后我们可以等待结果，并根据结果获得奖励。 马尔可夫决策过程(MDP)将根据不同的状态执行不同的动作。 s表示状态的集合。表示一组操作。对于任何一般用途，意味着动作集合是针对某个状态的，即动作是一个动态/转移模型，即MDP动态特性P状态转移函数R是一个奖励函数折现系数MDP是