Полумарковские процессы. 
Теория вероятностей и математическая статистика для экономистов

Пусть

Определение 6.25. Последовательность случайных векторов ((?,", 7'_;);п = 0,1,2,…), где принимает значения в X, Т_п — в М+, называют.

полумарковской последовательностью, если для любого п> 1 выполнено соотношение.

Компонента носит название ведущей компоненты, компонента Т_п — сопровождающей компоненты полумарковской последовательности, Qy (0 называют переходной функцией.

Для проверки полумарковости вместо соотношения (6.15) удобно проверять следующие свойства условной зависимости:

Лемма 6.1. Последовательность ((n, T_n);n = 0,1,2,…) удовлетворяет соотношению (6.15) тогда и только тогда, когда она удовлетворяет соотношениям (6.16) и (6.17).

Будем считать, что с вероятностью 1 Г₀ = 0. Сконструируем СП {?,(?); t е R+} следующим образом:

Для того чтобы процесс был определен для всех t > 0, будем считать, что на любом конечном отрезке времени [0; ?] может произойти лишь конечное число скачков ^(?). Построенный таким образом процесс {^(?); t > 0} называют полумарковским процессом (ПМП), построенным по полумарковской последовательности (?", Т_п). Реализация такого процесса может быть осуществлена следующим образом. Зададим начальное распределение (Р,(0) = Д{^о ^{= г})>^{г е0-} Пусть г₀ — значение, которое приняла СВ в соответствии с этим распределением. Далее разыгрываем значение вектора (?, Т_х) в соответствии с распределением (),•,(?); пусть оно равно (г), р). Тогда реализация q (t) на [0; /,) будет равна i₀. После этого разыгрываем значение вектора (%₂, Т₂) в соответствии с распределением QjXt), и пусть оно равно (i₂, t₂). Тогда реализация %(?) на [?,; ?, + ?₂) будет равна г, и т. д. Типичная реализация полумарковского процесса представлена на рис. 6.3.

Рас. 6.3. Пример реализации полумарковского процесса Реализации ПМП являются непрерывными справа ступенчатыми функциями. По формуле умножения вероятностей если Р{с," = j / ?,"_| = *} = Рц * 0, то Qjj (t) = PjjFy (t), гдеFjj (t) = Р{Т_п = г}. F^t) можно интерпретировать как функцию распределения времени пребывания t,(t) в состоянии г, если известно, что следующим состоянием будет/ Если рассматривать ^(?) в случайные моменты 0, 7), Г, + Т₂, 7', + Т₂ + Т₃, … то $(0) — q (7',) = q_t, q ( 7) + Г₂) = Ъ,₂,… Такой процесс называется вложенным в случайный процесс <;(?). В данном случае вложенный процесс является цепью Маркова с матрицей переходных вероятностей (Ру). Если P_i} = 0, то (/(?) = 0, и можно записать Qy (t) = РуРу (?), где в качестве //(?) можно взять любую функцию распределения. Таким образом, ПМП полностью характеризуется следующими величинами:

• 1) матрицей перехода (Ру)',
• 2) матрицей функций распределения (F^t));
• 3) начальным распределением {Р,-(0), i е X}.

Назовем полумарковский процесс вполне регулярным, если для V i € X Р{Т_п >0, п = 1,2,…/?₀ =i} = l, т. е. у ПМП не должно быть мгновенных состояний. Можно показать, что, для того чтобы вполне регулярный ПМП представлял собой стохастически непрерывную справа регулярную однородную цепь Маркова с непрерывным временем, необходимо и достаточно выполнения равенства Q_ij (t) = P_ij ( где (Ру) — стохастическая матрица; Xj > 0; i, j е X. При этом если цепь Маркова без поглощающих состояний, то

Следовательно, ПМП будет марковским тогда и только тогда, когда времена пребывания в состоянии не зависят от того, каким будет следующее состояние, и имеют показательные распределения.