python - 生成马尔可夫过程的 Kolmogorov-Chapman 方程

Question

我正在寻找一种为 MathCad 生成 Kolmogorov-Chapman 方程来解决马尔可夫链问题的方法。问题是找到系统处于其中一种状态的概率。系统有N个组件。我有一个包含 2^N 个节点(状态)和 2*N 个参数的图:N a，这是第 N 个组件损坏的概率，N b ，这是损坏的组件恢复正常的概率。

N 可以接近 10，这意味着至少会有 1024 个方程，所以我正在寻找一种生成这些方程的方法。

Mathcad 不是必需的，任何其他数学引擎都可以(即使是 Python，如果可以使用 scipy 等 smth 来解决)

Answer 1

Problem is to find probability of the system being in one of the states.

由于您的随机过程是 N 个独立 马尔可夫链的组合，因此通过单独求解每个链的方程比求解 2^{2*N 系统更容易解决该问题} 整个过程的方程。

单个链的转移矩阵是:

因此，柯尔莫哥洛夫-查普曼方程为:

如果您仍然需要整个系统的方程: