Функція називається випадковою функцією, якщо її значення при будь-якому аргументі є випадковою величиною.
Реалізацією випадкової функції називається конкретний вигляд, який вона приймає в результаті досліду.
Випадкову функцію , аргументом якої є час, називають випадковим процесом.
Випадковий процес, що протікає в деякій фізичній системі , називається марківським (або процесом без наслідку), якщо він має наступну властивість: для будь-якого моменту часу ймовірність будь-якого стану системи в майбутньому (при ) залежить тільки від її стану в сьогоденні (при ) і не залежить від того, коли і яким чином система прийшла в цей стан.
Марківський випадковий процес з дискретними станами і неперервним часом називають неперервним марківським ланцюгом.
Щільністю ймовірності переходу , називається границя відношення ймовірності переходу із стану в стан за малий проміжок часу , що примикає до моменту , до довжини цього проміжку, коли вона прагне до нуля.
При розгляді випадкових процесів з дискретними станами і неперервним часом зручно представляти переходи системи із стану в стан як такі, що відбуваються під впливом деяких потоків подій; при цьому щільність ймовірності переходу одержує сенс інтенсивностей відповідних потоків подій. Якщо всі ці потоки найпростіші, то процес, що протікає в системі , буде марківським.
Нехай система має кінцеве число станів . Для опису випадкового процесу, що протікає в цій системі застосовуються, так звані, імовірності станів
, (Б.2.1)
де - ймовірність того, що система в момент знаходиться в стані ( ).
Очевидно, що для будь-якого виконується умова нормування
. (Б.2.2)
Для знаходження ймовірності (Б.2.1) потрібно розв’язати систему диференціальних рівнянь (рівнянь Колмогорова), що мають вигляд:
. (Б.2.3)
Інтенсивності можуть залежати від часу .
Щоб розв’язати систему (Б.2.2) для ймовірностей станів , потрібно задати початковий розподіл ймовірностей
, (Б.2.4)
сума яких дорівнює одиниці:
. (Б.2.5)
Якщо всі потоки подій, що переводять систему із стану в стан, є найпростішими, в деяких випадках існує фінальні (або граничні) ймовірності станів
, (Б.2.6)
не залежні від того, в якому стані система знаходилася в початковий момент.
Система, в якій існує фінальні ймовірності, називається ергодичною і відповідний випадковий процес - ергодичним.
Фінальні ймовірності станів (якщо вони існують) можна знайти розв’язавши систему лінійних алгебраїчних рівнянь; систему отримують з диференціальних рівнянь Колмогорова, поклавши їх ліві частини (похідні) такими що дорівнюють нулю.