КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ

2.1. Количество информации при равновероятности состояний
источника сообщений

Сообщения разнятся как по своей природе, так и по содержанию и по назначению. В связи с этим возникают трудности в оценке количества информации, которое содержится в сообщениях. Количество информации должно определяться через нечто общее, объективно присущее всему многообразию различной информации, оставаясь при этом созвучным нашим интуитивным представлениям, связанным с фактом получения информации. Этим общим, характеризующим фактом получения произвольной информации, является, во-первых, наличие опыта. Всякая информация добывается нами в результате опыта и только опыта. Во-вторых, до опыта должна существовать некоторая неопределенность в том или ином исходе опыта.

Таким образом, до опыта всегда имеется большая или меньшая неопределенность в интересующей нас ситуации. После опыта ситуация становится более определенной и на поставленный вопрос мы можем ответить либо однозначно, либо число возможных ответов уменьшится и, следовательно, уменьшится существовавшая ранее неопределенность. Количество уменьшенной неопределенности после опыта, очевидно, можно отождествить с количеством получаемой информации в результате опыта.

Теперь ясно, что для установления формулы для вычисления количества информации необходимо уметь вычислять неопределенность некоторой ситуации до и после опыта. Разность между этими количествами неопределенности и дает нам искомое количество информации, полученное от такого опыта.

К количеству информации (неопределенности до опыта) можно предъявить три интуитивных требования.

1. Количество получаемой информации больше в том опыте, у которого большее число возможных исходов.

Обозначая количество информации буквой I, а число возможных исходов n, первый постулат запишем в виде:

если (2.1)

2. Опыт с единственным исходом несет количество информации, равное нулю, т.е.

(2.2)

3. Количество информации от двух независимых опытов равно сумме количества информации от каждого из них:

(2.3)

Очевидно, единственной функцией аргумента n, удовлетворяющей трем поставленным условиям, является логарифмическая. Итак, количество информации от опыта с N исходами при условии, что после опыта неопределенность отсутствует:

(2.4)

Выбор постоянной С и основания логарифмов здесь несущественен, так как определяет только масштаб на единицу неопределенности. Поэтому положим С = 1, а = 2. Тогда

(2.5)

Указанная мера была предложена Р. Хартли в 1928г. для количественной оценки способности системы хранить или передавать информацию.

Такая мера удовлетворяет требованию аддитивности. Емкость устройства состоящего из n ячеек, имеющего N = mⁿ состояний, равна емкости одной ячейки, умноженной на число ячеек:

(2.6)

За единицу измерения емкости принята двоичная единица или bit, равная емкости одной ячейки с двумя возможными состояниями.

Следует отметить, что мера количества информации в виде (2.6) относится к весьма частному случаю, когда после опыта неопределенности в исходе нет и все исходы равновероятны.

Дальнейшее развитие теории информации шло в направлении учета статистических характеристик.

Если от источника информации по каналу связи передавать сообщение о событии, априорная вероятность которого на передающей стороне равна Р ₁, то после приема сообщения апостериорная вероятность этого события для приемника информации равна Р ₂ и количество информации, полученное в результате приема сообщения, будет

(2.7)

Для канала связи без помех и искажений прием сообщения становится достоверным событием, т.е. вероятность Р ₂ = 1, тогда из (2.7) следует, что

(2.8)

Из (2.8) следует, что чем меньше вероятность Р ₁, тем больше неопределенность исхода, т.е. тем большее количество информации содержится в принятом сообщении.

Значение Р ₁ находится в пределах следовательно, всегда положительная величина.

Количество информации , где Р – вероятность события, было положено в основу и было исходной точкой создания теории информации.

Энтропия ансамбля

Ансамблем называется полная совокупность состояний с вероятностями их появлений, составляющими в сумме единицу:

(2.9)

причем

Пусть имеет место N возможных исходов опыта, из них k разных, и i- й исход (i = 1, 2,..., k) повторяется n_i раз и вносит информацию, количество которой оценивается как I_i . Тогда средняя информация, доставляемая одним опытом, равна

(2.10)

Но количество информации в каждом исходе согласно (2.8) будет

(2.11)

Тогда

(2.12)

Но отношение представляют собой частоты повторения исходов, а следовательно, могут быть заменены их вероятностями:

. (2.13)

Подставляя (2.13) в (2.12), получим

Полученную величину К. Шеннон назвал энтропией и обозначил буквой Н, бит:

. (2.14)

Энтропия Н представляет собой логарифмическую меру беспорядочности состояния источника сообщений и характеризует степень неопределенности состояния этого источника. Получение информации – это процесс раскрытия неопределенности.

В информационных системах неопределенность снижается за счёт принятой информации, поэтому численно энтропия Н равна среднему количеству информации, несомой произвольным исходом x_i, т.е. является количественной мерой информации.

Если все k различных состояний источника равновероятны, то

,

энтропия максимальна и из (2.14) имеем

. (2.15)

Нетрудно заметить, что в частном случае при равновероятных сообщениях формулы (2.14) и (2.5) совпадают. Совпадение оценок количества информации по Шеннону и Хартли свидетельствуют о полном использовании информационной емкости системы. В случае неравных вероятностей количество информации по Шеннону меньше информационной емкости системы.

Энтропия объединения

Объединением называется совокупность двух и более взаимозависимых ансамблей дискретных случайных переменных.

Рассмотрим объединение, состоящее из двух ансамблей X и Y, например из двух дискретных измеряемых величин, связанных между собой вероятностными зависимостями. Объединение ансамблей характеризуется матрицей P (X, Y) вероятностей P (x_i, y_i) всех возможных комбинаций состояний ансамбля X и состояний ансамбля Y:

. (2.16)

Cуммируя столбцы и строки матрицы (2.16), получим информацию об ансамблях X и Y исходных источников:

(2.17)

где и .

Вероятности P (x_i, y_j) совместной реализации взаимозависимых состояний x_i и y_i можно выразить через условные вероятности P (x_i /y_j) или P (y_j /x_i) в соответствии с тем, какие состояния принять за причину, а какие – за следствие.

(2.18)

где P (x_i / y_j) – вероятность реализации состояний x_i ансамбля X при условии, что реализовалось состояние y_j ансамбля Y; P (y_j / x_i) – вероятность реализации состояний y_j ансамбля Y при условии, что реализовалось состояние x_i ансамбля X.

Тогда выражение для энтропии объединения в соответствии с (2.14) принимает вид:

(2.19)

где – случайная величина, характеризующая неопределенность, приходящуюся на одно состояние ансамбля Y при условии, что реализовалось конкретное состояние x_i ансамбля X. Назовем её частной условной энтропией ансамбля Y и обозначим H (Y / x_i):

(2.20)

При усреднении по всем состояниям ансамбля X получаем среднюю неопределенность, приходящуюся на одно состояние ансамбля Y при известных состояниях ансамбля X:

(2.21)

Величину H (Y / X) называют полной условной или просто условной энтропией ансамбля Y по отношению к ансамблю X.

Подставляя (2.21) в (2.19), получаем

(2.22)

Выражая через другую условную вероятность в соответствии с (1.18), найдем

(2.23)

где

(2.24)

и (2.25)

Таким образом, энтропия объединения двух статистически связанных ансамблей X и Y равна безусловной энтропии одного ансамбля плюс условная энтропия другого относительно первого.

В случае статистической независимости ансамблей X и Y имеют

Тогда

Учитывая, что

и ,

получим

(2.26)

Свойства энтропии

2.4.1. Энтропия всегда неотрицательна, так как значения вероятностей выражаются дробными величинами, а их логарифмы – отрицательными величинами (2.14).

2.4.2. Энтропия равна нулю в том крайнем случае, когда одно событие равно единице, а все остальные – нулю. Это положение соответствует случаю, когда состояние источника полностью определено.

2.4.3. Энтропия имеет наибольшее значение при условии, когда все вероятности равны между собой (2.15).

2.4.4. Энтропия источника Х с двумя состояниями х ₁ и х ₂ изменяется от нуля до единицы, достигая максимума при равенстве их вероятностей

Р (х ₁) = Р = Р (х ₂) = 1 - Р = 0,5.

График зависимости Н (Х) в функции Р:

Н (Х) = - [ P log P + (1 -P)log(1 -P)], (2.27)

приведен на рис. 2.1.

Отметим, что энтропия непрерывно зависит от вероятности отдельных состояний, что непосредственно вытекает из непрерывности функции -P log P.

Рис. 2.1. Зависимость Н (Х) в функции Р

2.4.5. Энтропия объединения нескольких статистически независимых источников информации равна сумме энтропий исходных источников

H (X, Y, Z,..., W) = H (X) + H (Y) + H (Z) +... + H (W). (2.28)

2.4.6. Энтропия объединения двух статистически связанных ансамблей X и Y равна

2.4.7. Энтропия объединения любого числа зависимых ансамблей определяется из выражения

(2.29)

2.4.8. Энтропия не зависит от значений, принимаемых случайными величинами, а зависит только от вероятностей их появления (2.14).

2.4.9. Если события x_i и y_j статистически независимы при любых i и j, то

H (Y / X) = H (Y) и H (X / Y) = H (X). (2.30)

Таким образом, сведения о результатах выбора состояний из одного ансамбля не снижает неопределенности выбора состояний из другого ансамбля. Если имеет место однозначная связь в реализациях состояний из ансамбля X и из ансамбля Y, то условная энтропия любого из ансамблей равна нулю:

H (Y / X) = 0, H (X / Y) = 0. (2.31)

Действительно, условные вероятности P (x_i / y_j) и P (y_j, x_i) в этом случае принимают значения, равные нулю или единице. Поэтому все слагаемые, входящие в выражения (2.20) и (2.25), для частных условных энтропий равны нулю. Тогда в соответствии с (2.21) и (2.24) условные энтропии равны нулю.

Равенства (2.31) отражают факт отсутствия дополнительной неопределенности при выборе событий из второго ансамбля.

Уяснению соотношений между рассмотренными энтропиями дискретных источников информации (ансамблей) соответствует их графическое отображение (рис. 2.2).

Рис. 2.2. Энтропия объединения

ЧТО И КАК ПИСАЛИ О МОДЕ В ЖУРНАЛАХ НАЧАЛА XX ВЕКА Первый номер журнала «Аполлон» за 1909 г. начинался, по сути, с программного заявления редакции журнала...

Что вызывает тренды на фондовых и товарных рынках Объяснение теории грузового поезда Первые 17 лет моих рыночных исследований сводились к попыткам вычис­лить, когда этот...

Система охраняемых территорий в США Изучение особо охраняемых природных территорий(ООПТ) США представляет особый интерес по многим причинам...

ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: