马尔科夫
- 马尔科夫概念
- 马尔科夫性质
- 1. 可约性与不可约性（Reducibility）
- 2. 周期性（ Periodicity）
- 3. 瞬态性和重现性（Transience and recurrence）
- 4. absorbing state
- 遍历性
- Steady-state analysis and limiting distributions
- 还有一些性质没有写出，因为认为该做一些练习来加深对以上概念的理解。
- KaTeX数学公式
马尔科夫概念
马尔科夫是一种针对随机过程建立的数学模型，这种随机过程需要具有马尔科夫性质。所谓的马尔科夫性质只的是下一个时间点的值只与当前值有关系，与以前没有关系，即未来决定于现在。在我的课题中，驾驶员下一时刻踩踏板的开度与这一时刻是息息相关的。
马尔科夫性质
1. 可约性与不可约性（Reducibility）
不可约的数学定义是“如果从C 中任一状态出发经有限步转移到另一状态的概率都大于0,则称C为不可约闭集”，即如果全部状态转移概率均大于0，表示任意一种状态都可能转化到任意另外一种状态，即不存在多余的状态（可减少的状态），是的其它状态不能转换到此状态。如果存在这样的状态，它的一步转移概率应当为0.，那就会用单向箭头表示
2. 周期性（ Periodicity）
如果马尔科夫链中的某状态经过k步的整数倍可以回到某状态，则说该状态的周期性为k,如果每个状态都是非周期的，则马尔可夫链是非周期的。不可约马尔可夫链只需要一个非周期状态就意味着所有状态都是非周期的。
3. 瞬态性和重现性（Transience and recurrence）
如果马尔科夫链中某一状态重现的概率为0，则称其为瞬态，否则具有重现性。
4. absorbing state
只进不出的状态
遍历性
如果一个状态i是非周期和正周期的，则称之为遍历状态。换句话说，一个状态i是遍历的，如果它是递归的，周期是1，并且有有限的平均递归时间。如果不可约markov链中的所有状态都是遍历的，则该链称为遍历的。
如果有限状态不可约markov链具有非周期状态，则它是遍历的。更一般地，如果存在一个数n，使得任何状态都可以从任何其他状态以大于或等于一个数n的任意步数到达，则马尔可夫链是遍历的。对于完全连接的转移矩阵，其中所有转移都具有非零概率，此条件满足n=1。
具有多个状态且每个状态只有一个向外转移的马尔可夫链不是不可约的或不是非周期的，因此不能遍历。
Steady-state analysis and limiting distributions
还有一些性质没有写出，因为认为该做一些练习来加深对以上概念的理解。
之后想学的有
- 伯努利和马尔科夫链的关系
- 马尔科夫-蒙特卡洛（上图中非时齐的情况）
- 离散马尔科夫和连续马尔科夫
- 隐马尔科夫
- 隐马尔科夫与卡尔曼滤波的关系
- 卡尔曼滤波 https://www.zhihu.com/question/23971601/answer/108430106
KaTeX数学公式
您可以使用渲染LaTeX数学表达式 KaTeX:
Gamma公式展示
你可以找到更多关于的信息 LaTeX 数学表达式[here][1].
