Дифференциальная энтропия

Источники информации, множество возможных состояний которых составляют континуум, называют непрерывными.

Во многих случаях они преобразуются в дискретные посредством использования устройств дискретизации и квантования. Вместе с тем существует немало и таких систем, в которых информация передаётся и преобразуется непосредственно в форме непрерывных сигналов. Примерами могут служить системы телеизмерений с частотным разделением сигналов.

Основные информационные характеристики источников непрерывных сообщений следующие: энтропия, условная энтропия, эпсилон – энтропия, эпсилон – производительность, избыточность, объём информации.

Формулу для энтропии источника непрерывных сообщений получают путем предельного перехода из формулы (2.14) для энтропии дискретного источника. С этой целью разобьём диапазон изменения непрерывной случайной величины Х, характеризующейся плотностью распределения вероятностей W (X), на конечное число m малых интервалов шириной D x (рис. 4.1).

При реализации любого значения х, принадлежащего интервалу [ x_i, x_i +D x ], будем считать, что реализовалось значение x_i дискретной случайной величины Х. Поскольку D x мало, то вероятность реализации значения х из интервала [ x_i, x_i +D x ] равна

Тогда энтропия дискретной случайной величины может быть записана в виде

(4.1)

так как

По мере уменьшения все больше приближается к вероятности P (x_i), равной нулю, а свойства дискретной величины – к свойствам непрерывной случайной величины Х.

В результате предельного перехода при получено

(4.2)

Рис. 3.1. Зависимость плотности распределения вероятностей

случайной величины

Чтобы избавить теорию от бесконечности, имеется единственная возможность – ввести относительную меру неопределенности исследуемой непрерывной случайной величины Х по отношению к заданной Х ₀. В качестве заданной величины Х ₀ возьмем непрерывную случайную величину, равномерно распределенную на интервале с шириной . Тогда её плотность вероятности , а энтропия

.

Положив для простоты записи e = 1, составим разность

(4.3)

которая показывает, насколько неопределенность непрерывной случайной величины Х с законом распределения W (X) больше или меньше неопределенности случайной величины, распределенной равномерно на интервале e = 1. Поэтому величину

(4.4)

называют относительной дифференциальной энтропией или просто дифференциальной энтропией непрерывного источника информации (непрерывного распределения случайной величины Х). В отличие от энтропии источников дискретных сообщений может принимать положительные, отрицательные и нулевые значения. Величиной можно характеризовать информационные свойства источников непрерывных сообщений.

Аналогично, используя операции квантования и предельного перехода, найдем выражение для условной энтропии непрерывного источника сообщений.

. (4.5)

Обозначим первый член через :

. (4.6)

Эта величина конечна и называется относительной дифференциальной условной энтропией, или просто дифференциальной условной энтропией непрерывного источника. Она характеризует неопределенность выбора непрерывной случайной величины Х при условии, что известны результаты реализации значений другой статистически связанной с ней непрерывной случайной величины Y, и по сравнению со средней неопределенностью выбора случайной величины Х ₀, изменяющейся в диапазоне, равном единице, и имеющей равномерное распределение вероятностей.

ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...

ЧТО ПРОИСХОДИТ ВО ВЗРОСЛОЙ ЖИЗНИ? Если вы все еще «неправильно» связаны с матерью, вы избегаете отделения и независимого взрослого существования...

Живите по правилу: МАЛО ЛИ ЧТО НА СВЕТЕ СУЩЕСТВУЕТ? Я неслучайно подчеркиваю, что место в голове ограничено, а информации вокруг много, и что ваше право...

Что делать, если нет взаимности? А теперь спустимся с небес на землю. Приземлились? Продолжаем разговор...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: