第28章马尔可夫模型

本章只给出对马尔可夫链的通俗解释，适用于非专业、仅需稍微了解其背景的读者。

28.1 定义

用通俗的语言来说，马尔可夫性质指：事物在某一时刻处于某种状态时，在下一时刻转移/维持到任意可能状态的概率，仅取决于事物在这一时刻的状态。

理解了马尔可夫性质后，马尔可夫过程就很好理解了。它指的就是具有马尔可夫性质的随机过程。

马尔可夫链则是马尔可夫过程的子集，一般而言，当马尔可夫过程的时间和状态都是离散时，即是马尔可夫链。

N阶马尔可夫链上，事物转移/维持到任意可能状态的概率由前N个时刻的状态决定。

传统的马尔可夫链可以认为是1阶马尔可夫链。

以马尔可夫性质为基础的随机过程及随机模型的集合，例如马尔可夫链、隐马尔可夫模型。

当马尔可夫过程的状态不能被直接观察到，但能通过输出状态反解隐藏状态时，该马尔可夫过程被称为隐马尔可夫模型。

如果具有一定的网络概念基础，不难发现马尔可夫链的状态转移可以使用矩阵或图来表示。这分别称为转移矩阵和转移图。

如果没有网络概念基础，请参阅网络的基本概念。

转移概率不难理解，即是从一个状态转移到另一个状态的概率。

转移概率可分为单步转移概率和N步转移概率。由于马尔可夫性质，从某一状态经过N步转为另一状态的概率，在给定所有的单步转移概率及时间跨度时，是可以计算的。

转移矩阵中，\(a_{ij}\)表示当状态为\(s_i\)时，下一时刻状态为\(s_j\)的概率。由于某一时刻上，对象处在所有可能状态的概率的总和为1，因此转移矩阵是一个行和为1的矩阵。

类似地，也可以定义N步转移矩阵。N步转移矩阵等价于N个单步转移矩阵相乘。

在转移图中，节点表示状态，而边表示可以从一个状态转移到另一个状态，且其权重等于转移的单步转移概率。注意，转移图是一个有向权重图。