МАРКОВСКИЙ ПРОЦЕСС С ДИСКРЕТНЫМИ

СОСТОЯНИЯМИ И НЕПРЕРЫВНЫМ ВРЕМЕНЕМ.

УРАВНЕНИЯ КОЛМОГОРОВА

ДЛЯ ВЕРОЯТНОСТЕЙ СОСТОЯНИЙ

В предыдущем параграфе мы рассматривали марковскую цепь, т. е. случайный процесс, протекающий в системе, которая случайным образом может переходить из состояния в состояние только в некоторые заранее определенные, фиксированные моменты времени.

На практике значительно чаще встречаются ситуации, когда переходы системы из состояния в состояние происходят не в фиксиро­ванные, а в случайные моменты времени, которые заранее указать не­возможно - переход может осуществиться, вообще говоря, в любой момент. Например, выход из строя (отказ) любого элемента аппаратуры может произойти в любой момент времени; окончание ремонта (восста­новление) этого элемента также может произойти в заранее не зафикси­рованный момент и т. д.

Для описания таких процессов в ряде случаев может быть с успе­хом применена схема марковского случайного процесса с дискретны­ми состояниями и непрерывным временем, который мы будем для крат­кости называть непрерывной цепью Маркова.

Покажем, как выражаются вероятности состояний для такого процесса.

Пусть имеется ряд дискретных состояний

S₁, S₂, …, S_n;

переход (перескок) системы S из состояния в состояние может осуществ­ляться в любой момент времени. Граф состояний системы представлен на рис. 10.

Обозначим р_i(t) — вероятность того, что в момент t система S будет находиться в состоянии S_i (i = 1,..., n). Очевидно, для любого мо­мента t сумма вероятностей состояний равна единице:

, (3.1)

так как события, состоящие в том, что в момент t система находится в состояниях S_l, S₂,..., S_n, несовместны и образуют полную группу.

Поставим задачу - определить для любого t вероятности состояний:

p₁(t), p₂(t), …, p_n(t)

Для того, чтобы найти эти вероятности, необходимо знать харак­теристики процесса, аналогичные переходным вероятностям для мар­ковской цепи. В случае процесса с непрерывным временем нам не при­дется задавать определенные, отличные от нуля, переходные вероят­ности P_ij; вероятность перехода (перескока) системы из состояния в со­стояние точно в момент t будет равна нулю (так же как вероятность
любого отдельного значения непрерывной случайной величины). Вмес­то переходных вероятностей P_ij мы введем в рассмотрение плот­ности вероятностей перехода l_ij.

Пусть система S в момент t находится в состоянии S_i. Рассмотрим элементарный промежуток времени Dt, примыкающий к моменту t (рис. 11).

Назовем плотностью вероятности перехода l_ij предел отношения вероятности перехода системы за время Dt из состояния S_i в состояние S_j к длине промежутка Dt:

, (3.2)

где P_ij(Dt) - вероятность того, что система, находившаяся в момент t в состоянии S_i, за время Dt перейдет из него в состояние Sj (плот­ность вероятностей перехода определяется только для i ≠ j)

Из формулы (3.2) следует, что при малом Dt вероятность перехода P_ij(Dt) (с точностью до бесконечно малых высших порядков) равна l_ijDt:

P_ij(Dt) ≈ l_ijDt.

Если все плотности вероятностей перехода l_ij не зависят от t (т. е. от того, в какой момент начинается элементарный участок Dt), мар­ковский процесс называется однородным; если эти плотности представляют собой какие-то функции времени l_ij (t)процесс назы­вается неоднородным. При пользовании сокращенным названием «непрерывная марковская цепь» мы также будем различать одно­родные и неоднородные цепи.

Предположим, что нам известны плотности вероятностей пере­хода l_ij для всех пар состояний S_i, S_j.

Построим граф состояний системы S и против каждой стрелки про­ставим соответствующую плотность вероятности перехода (рис 12).

Такой граф, с проставленными у стрелок плотностями вероятнос­тей перехода, мы будем называть размеченным графом со­стояний.

Оказывается, зная размеченный граф состояний, можно определить вероятности
состояний:

p₁(t), p₁(t), … p_n(t) (3.3)

как функции времени. А именно, эти вероятности удовлетворяют определенного вида дифференциальным уравнениям, так называемым уравнениям Колмогорова. Решая эти уравнения, мы получим вероятности (3.3).

Продемонстрируем методику вывода уравнений Колмогорова для вероятностей состояний на конкретном примере.

Пусть система S имеет четыре возможных состояния:

S₁, S₂, S₃, S₄

размеченный граф состояний системы показан на рис. 13.

Поставим себе задачу: найти одну из вероятностей состояний, например, p₁(t). Это есть вероятность того, что в момент t система будет находиться в состоянии S₁.

Придадим малое приращение Dt и найдем вероятность того, что в момент t+Dt система будет находиться в состоянии S₁.

Как это событие может произойти? Очевидно, двумя способами:

– в момент t система уже была в состоянии S₁ а за время Dt не вышла из этого состояния

или

– в момент tсистема была в состоянии S₃, а за время Dt перешла из него в S₁.

Вероятность первого варианта найдем как произведение вероят­ности p₁(t) того, что в момент t система была в состоянии S₁, на услов­ную вероятность того, что, будучи в состоянии S₁ система за время Dt не перейдет из него в S₂. Эта условная вероятность (с точностью до бесконечно малых высших порядков) равна 1 – l₁₂Dt.

Аналогично, вероятность второго варианта равна вероятности то­го, что в момент t система была в состоянии S₃, умноженной на услов­ную вероятность перехода за время Dt в состояние S₁:

p₃(t)l₃₁Dt.

Применяя правило сложения вероятностей, получим:

p₁(t+Dt) = p₁(t)(1 – l₁₂Dt) + p₃(t)l₃₁Dt.

Раскроем скобки в правой части, перенесем p₁(t) в левую и разде­лим обе части равенства на Dt; получим:

Теперь устремим Dt к нулю и перейдем к пределу:

.

Левая часть есть не что иное, как производная функции p₁(t):

(3.4)

Таким образом, выведено дифференциальное урав­нение, которому должна удовлетворять функция p₁(t). Аналогич­ные дифференциальные уравнения могут быть выведены и для осталь­ных вероятностей состояния: р₂(t), р₃(t), р₄(t).

Рассмотрим второе состояние S₂ и найдем р₂(t + Dt) – вероят­ность того, что в момент (t+Dt) система S будет находиться в состоя­нии S₂. Это событие может произойти следующими способами:

– в момент t система уже была в состоянии S₂, а за время Dt не перешла из него ни в S₃, ни в S₄; или

– в момент t система была в состоянии S₃ а за время Dt перешла из него в S₂; или

– в момент t система была в состоянии S₄, а за время Dt перешла из него в S₂.

Вероятность первого варианта вычисляется так: р₂(t) умножается на условную вероятность того, что система за Dt не перейдет ни в S₃, ни в S₄. Так как события, состоящие в переходе за время Dt из S₂ в S₃ и из S₂ в S₄, несовместны, то вероятность того, что осуществится один из этих переходов равна сумме их вероятностей, т. е. l₂₃Dt + l₂₄Dt (с точностью до бесконечно малых высших порядков). Вероятность то­го, что не осуществится ни один их этих переходов, равна 1 – l₂₃Dt – l₂₄Dt. Отсюда вероятность первого варианта:

p₂(t)(1 – l₂₃Dt – l₂₄Dt).

Прибавляя сюда вероятности второго и третьего вариантов, по­лучим:

p₂(t+Dt) = p₂(t)(1 – l₂₃Dt – l₂₄Dt) + p₁(t)l₁₂Dt + p₄(t)l₄₂Dt

Перенося р₂(t) в левую часть, деля на Dt и переходя к пределу, получим дифференциальное уравнение для p₂(t):

(3.5)

Рассуждая аналогично для состояний S₃, S₄, получим в результа­те систему дифференциальных уравнений, составленных по типу (3.4) и (3.5). Отбросим в них для краткости аргумент t у функций р₁, р₂, р₃, р₄ и перепишем эту систему в виде:

(3.6)

Эти уравнения для вероятностей состояний и называются уравнения­ми Колмогорова.

Интегрирование этой системы уравнений даст нам искомые вероят­ности состояний как функции времени. Начальные условия берутся в зависимости от того, каково было начальное состояние системы S. Например, если в начальный момент времени (при t = 0) система S находилась в состоянии S_` то надо принять начальные условия:

при t=0 p₁ = 1, р₂ = р₃ = р₄ = 0.

Заметим, что всех четырех уравнений для р₁, р₂, р₃, p₄ можно было бы и не писать; действительно, р₁ + р₂ + р₃ + p₄ = 1 для всех t и любую из вероятностей р₁, р₂, р₃, p₄ можно выразить через три ос­тальные. Например р₄ можно выразить через р₁, р₂, р₃ в виде

p₄ = l – (р₁ + р₂ + р₃)

и подставить в остальные уравнения. Тогда специального уравнения для вероятности р₄ можно и не писать. Однако в дальнейшем нам будет удобнее пользоваться полной системой уравнений типа (3.6).

Обратим внимание на структуру уравнений (3.6). Все они построе­ны по вполне определенному правилу, которое можно сформулировать следующим образом.

В левой части каждого уравнения стоит производная вероятности состояния, а правая часть содержит столько членов, сколько стрелок связано с данным состоянием. Если стрелка, направлена из состояния, соответствующий член имеет знак «минус»; если в состояние – знак «плюс». Каждый член равен произведению плотности вероятности перехода, соответствующей данной стрелке, умноженной на вероятность того состояния, из которого исходит стрелка.

Это правило составления дифференциальных уравнений для вероятностей состояний является общим и справедливо для любой непрерывной марковской цепи; с его помощью можно совершенно механически, без всяких рассуждений, записывать дифференциальные уравнения для вероятностей состояний непосредственно по размеченному
графу состояний.

Пример. Размеченный граф состояний системы S имеет вид показанный на рис.14 Написать систему дифференциальных уравнений Колмогорова и начальные условия для решения этой системы, если известно, что в начальный момент система находится в состоянии S₁.

Решени е. Система уравнений Колмогорова имеет вид:

Начальные условия:

при t=0 p₁ = 1, р₂ = р₃ = р₄ = p₅ = 0.

ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...

Что будет с Землей, если ось ее сместится на 6666 км? Что будет с Землей? - задался я вопросом...

Живите по правилу: МАЛО ЛИ ЧТО НА СВЕТЕ СУЩЕСТВУЕТ? Я неслучайно подчеркиваю, что место в голове ограничено, а информации вокруг много, и что ваше право...

Что вызывает тренды на фондовых и товарных рынках Объяснение теории грузового поезда Первые 17 лет моих рыночных исследований сводились к попыткам вычис­лить, когда этот...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: