第28章 马尔可夫模型
本章只给出对马尔可夫链的通俗解释,适用于非专业、仅需稍微了解其背景的读者。
28.1 定义
马尔可夫性质
用通俗的语言来说,马尔可夫性质指:事物在某一时刻处于某种状态时,在下一时刻转移/维持到任意可能状态的概率,仅取决于事物在这一时刻的状态。
马尔可夫过程
理解了马尔可夫性质后,马尔可夫过程就很好理解了。它指的就是具有马尔可夫性质的随机过程。
马尔可夫链
马尔可夫链则是马尔可夫过程的子集,一般而言,当马尔可夫过程的时间和状态都是离散时,即是马尔可夫链。
N阶马尔可夫链
N阶马尔可夫链上,事物转移/维持到任意可能状态的概率由前N个时刻的状态决定。
传统的马尔可夫链可以认为是1阶马尔可夫链。
马尔可夫模型
以马尔可夫性质为基础的随机过程及随机模型的集合,例如马尔可夫链、隐马尔可夫模型。
隐马尔可夫模型
当马尔可夫过程的状态不能被直接观察到,但能通过输出状态反解隐藏状态时,该马尔可夫过程被称为隐马尔可夫模型。
28.2 马尔可夫链的数学表示
如果具有一定的网络概念基础,不难发现马尔可夫链的状态转移可以使用矩阵或图来表示。这分别称为转移矩阵和转移图。
如果没有网络概念基础,请参阅网络的基本概念。
转移概率
转移概率不难理解,即是从一个状态转移到另一个状态的概率。
转移概率可分为单步转移概率和N步转移概率。由于马尔可夫性质,从某一状态经过N步转为另一状态的概率,在给定所有的单步转移概率及时间跨度时,是可以计算的。
转移矩阵
转移矩阵中,\(a_{ij}\)表示当状态为\(s_i\)时,下一时刻状态为\(s_j\)的概率。由于某一时刻上,对象处在所有可能状态的概率的总和为1,因此转移矩阵是一个行和为1的矩阵。
类似地,也可以定义N步转移矩阵。N步转移矩阵等价于N个单步转移矩阵相乘。
转移图
在转移图中,节点表示状态,而边表示可以从一个状态转移到另一个状态,且其权重等于转移的单步转移概率。注意,转移图是一个有向权重图。