第28章 马尔可夫模型


本章只给出对马尔可夫链的通俗解释,适用于非专业、仅需稍微了解其背景的读者。

28.1 定义

马尔可夫性质

用通俗的语言来说,马尔可夫性质指:事物在某一时刻处于某种状态时,在下一时刻转移/维持到任意可能状态的概率,仅取决于事物在这一时刻的状态。

马尔可夫过程

理解了马尔可夫性质后,马尔可夫过程就很好理解了。它指的就是具有马尔可夫性质的随机过程。

马尔可夫链

马尔可夫链则是马尔可夫过程的子集,一般而言,当马尔可夫过程的时间和状态都是离散时,即是马尔可夫链。

N阶马尔可夫链

N阶马尔可夫链上,事物转移/维持到任意可能状态的概率由前N个时刻的状态决定。

传统的马尔可夫链可以认为是1阶马尔可夫链。

马尔可夫模型

以马尔可夫性质为基础的随机过程及随机模型的集合,例如马尔可夫链、隐马尔可夫模型。

隐马尔可夫模型

当马尔可夫过程的状态不能被直接观察到,但能通过输出状态反解隐藏状态时,该马尔可夫过程被称为隐马尔可夫模型。

28.2 马尔可夫链的数学表示

如果具有一定的网络概念基础,不难发现马尔可夫链的状态转移可以使用矩阵或图来表示。这分别称为转移矩阵和转移图。

如果没有网络概念基础,请参阅网络的基本概念

转移概率

转移概率不难理解,即是从一个状态转移到另一个状态的概率。

转移概率可分为单步转移概率和N步转移概率。由于马尔可夫性质,从某一状态经过N步转为另一状态的概率,在给定所有的单步转移概率及时间跨度时,是可以计算的。

转移矩阵

转移矩阵中,\(a_{ij}\)表示当状态为\(s_i\)时,下一时刻状态为\(s_j\)的概率。由于某一时刻上,对象处在所有可能状态的概率的总和为1,因此转移矩阵是一个行和为1的矩阵。

类似地,也可以定义N步转移矩阵。N步转移矩阵等价于N个单步转移矩阵相乘。

转移图

在转移图中,节点表示状态,而边表示可以从一个状态转移到另一个状态,且其权重等于转移的单步转移概率。注意,转移图是一个有向权重图。