(позволяет последовательно вычислить все матрицы P(2), P(3), ... )
Классификация состояний МП
Достижимые состояния
Si достижимо из Sj , если вероятность перехода за k- шагов из Sj в Si хотя бы при каком-либо k больше 0:
pji(k)>0
Сообщающиеся состояния
Si и Sj сообщающиеся, если хотя бы при каких-либо k1 и k2 , pij(k1)>0 и pji(k2)>0
Замкнутое множество состояний
Множество состояний (С) называется замкнутым, если оно состоит из сообщающихся состояний и никакое состояние вне этого множества недостижимо из любого состояния, принадлежащего этому множеству.
Пример:( - замкнутое множество состояний
Поглощающее состояниеЭто замкнутое множество состояний, состоящее из одного состояния.
Пример: - поглощающее состояние
Возвратные состояния
Si возвратное, если вероятность того, что процесс, выйдя из этого состояния, когда-нибудь в него вернется равна единице.
Расчет вероятностей состояний цепи Маркова
В стационарном режиме
(стационарных вероятностей)
р(t)
1
p0(t)
p1(t)
t
переходной стационарный
режим режим
Пусть система может находиться в состояниях S0, S1, ... Sn