Однородная цепь Маркова -

к-число шагов

S₀,S₁, ... S_n - состояния

- матрица одношаговых переходных вероятностей.

Графическое представление цепей Маркова

p₁₁

p₀₁ p₃₁ Сумма вероятностей записанных над

выходящими дугами одного состояния

p₁₃ должна быть =1.

p₀₀ p₀₃ p₃₃

p₀₂ p₂₃

p₂₂

Вычисление вероятностей состояний ЦМ после

К- шагов

Матрица одношаговых переходных вероятностей.

Матрица переходных вероятностей после к- шагов.

i , j =0,1,2, ... n

p₀(0), p₁(0), ... p_n(0) - вероятности начальных состояний.

Воспользуемся формулой полной вероятности

Отсюда .

Пусть l=1

Уравнение Чепмена-Колмогорова

(позволяет последовательно вычислить все матрицы P(2), P(3), ... )

Классификация состояний МП

Достижимые состояния

S_i достижимо из S_j , если вероятность перехода за k- шагов из S_j в S_i хотя бы при каком-либо k больше 0:

p_ji(k)>0

Сообщающиеся состояния

S_{i и} S_j сообщающиеся, если хотя бы при каких-либо k₁ и k₂ , p_ij(k₁)>0 и p_ji(k₂)>0

Замкнутое множество состояний

Множество состояний (С) называется замкнутым, если оно состоит из сообщающихся состояний и никакое состояние вне этого множества недостижимо из любого состояния, принадлежащего этому множеству.

Пример:( - замкнутое множество состояний

Поглощающее состояниеЭто замкнутое множество состояний, состоящее из одного состояния.

Пример: - поглощающее состояние

Возвратные состояния

S_i возвратное, если вероятность того, что процесс, выйдя из этого состояния, когда-нибудь в него вернется равна единице.

Расчет вероятностей состояний цепи Маркова

В стационарном режиме

(стационарных вероятностей)

р(t)

1

p₀(t)

p₁(t)

t

переходной стационарный

режим режим

Пусть система может находиться в состояниях S_0, S_1, ... S_n

Р- матрица одношаговых переходных вероятностей.

p₀ , p₁ , ... p_n - стационарные вероятности состояний.

т.к. вероятности во времени не меняются, то

, i=0,1,2 ... n

Получим систему из (n+1) уравнений и (n+1) переменных.

Эта однородная система, она всегда имеет тривиальное решение.

Здесь существует нормирующее условие.

2.4 Однородные дискретные МП с непрерывным временем

S₀ ,S₁, ... , S_n – состояние МП.

Время теперь непрерывное. Переход из состояния в состояние происходит в произвольные моменты времени.

p_ij(t)- вероятность перехода из i в j за время t.

t- непрерывная величина.

Т.к. МП однородный , то

p _ij(t₀ , t )=p_ij(t)

текущий интервал

момент времени

2.4.1 Интенсивность перехода из S_i в S_j

l₀₁

Интенсивность l₁₀

, т.е. l_ij есть предел отношения l₀₂ l₂₁

p_ij(t) к t, при t®0.

Интенсивность – среднее число переходов из i – го состояния в j-ое состояние за единицу времени. Единица измерения (1/ед.времени).

Поиск по сайту: