Количество информации в равновероятных сообщениях
Сдам Сам

ПОЛЕЗНОЕ


КАТЕГОРИИ







Количество информации в равновероятных сообщениях





Пои оценке количества информации прежде всего возникает вопрос о виде исходной информации, а поэтому измерение информации в значительной степени зависит от подхода к самому понятию информации, т.е. от подхода к ее содержанию. В настоящее время существуют три основные теории, в которых к понятию содержательного характера информации подходят с разных позиций. Статистическая теория оценивает информацию с точки зрения меры неопределенности. снимаемой при получении информации. Как правило, она не затрагивает смысла передаваемой информации, т.е. ее семантического содержания. В статистической теории основное внимание обращается на распределение вероятностей отдельных квантов информации и построение на его основе некоторых обобщенных характеристик, позволяющих оценить количество информации в каком-то кванте.

Совершенно иной подход наблюдается в семантической теории, которая учитывает в основном ценность информации, полезность ее и тем самым помогает связать ценность информации со старением, ценность информации и количество ее - с эффективностью управления в системе. Наконец, структурная теория рассматривает принцип построения отдельных информационных массивов, при этом за единицу информации принимаются некоторые элементарные структурные единицы кванты, и количество информации оценивается простейшим подсчетом квантов в информационном массиве.

Выбор единицы информации в настоящее время является весьма актуальной задачей. При передаче непрерывных сообщений зачастую используется их дискретизация во времени, поэтому применяется геометрическая мера. позволяющая определить количество информации в отдельных отсчетах, снимаемых за некоторый интервал времени, т.е. количество передаваемых сообщений в этом случае определяется числом отсчетов. При передаче дискретной информации простейшей мерой информации может служить число кодовых комбинаций, отображающих передаваемые сообщения. Число комбинаций получается на основе комбинаторного метода и определяется структурой построения кода. его избыточностью, т.е. способом построения. Недостатком данной меры является нелинейная зависимость между числом кодовых комбинаций и числом элементов в коде. Например, для неизбыточного кода число кодовых комбинаций М=Кn. Обычно по каналу связи предается последовательность n символов, поэтому целесообразно иметь характеристику, линейно связанную с числом элементов в коде.



Будем считать, что число сведений f в сообщении линейно зависит от длины кода: f=kn. Формулу для числа сведений в сообщении выведем при следующих условиях: 1) осуществляется передача дискретных сообщений; 2) сообщений являются равновероятными и взаимно независимыми; 3) символы, выдаваемые источником, взаимно независимы: 4) система счисления конечна. Тогда df=kn. Если M=Kn, то dM = Kn lnKdn, dn=dM/Kn lnK и df = kdM/M lnК

 

f =k lnM/lnK =k1 loga M/lnK=k0 loga M, (1.2)

где k0=k1/lnK.

В теории информации за единицу количества информации принято число сведении, которое передается двумя равновероятными символами, или сообщениями. Эта единица называется двоичной единицей информации.

Учитывая сказанное, имеем при f =1 и M=2 1=k0 loga. Если k0=1, то а=2,

f = I =log2M, где I - количество информации в некотором усредненном сообщении. Формула I=log2M называется формулой Хартли, она справедлива в соответствии с принятыми выше ограничениями 1) - 4).

Рассмотрим, как влияет на число сведений основание кода. Пусть M сообщений передается двумя кодами с основаниями K1 и K2 , и числами элементов n1 и n2. Будем считать, что оба кода передают одинаковое число сведений, т.е. M=К1n1=K2n2, тогда k(K1)n1=k(K2)n2, n1logaK1=n2logaK2 , k(K1)/logaK1= k(K2)/logaK2 Из полученного выражения видно, что коэффициент пропорциональности тем больше, чем больше основание используемого кода.

Свяжем количество информации с вероятностью появления отдельных сообщений. Если сообщения равновероятны и на выходе некоторого источника появляется M различных сообщений, то вероятность возникновения каждого сообщения р(x0 J)=1/М, I= -log2p(x0 J). Таким образом, получаем статистическую меру информации, связывающую вероятность появления каждого сообщения и количество информации. Поскольку за основание логарифма принята двоичная единица, то эта мера представляет собой двоичную единицу на сообщение и отражает количество информации, которое в среднем содержится в каждом равновероятном сообщении. Полученное выражение в общем случае определяет информацию, которая содержится в некотором событии x0 J из множества Х0 и является функцией ансамбля этого множества. Она всегда неотрицательна и увеличивается с уменьшением вероятности р(x0 J). Физически данная информация может быть рассмотрена либо как некоторая априорная неопределенность события x0 J из множества X0, либо как информация, требуемая для разрешения этой неопределенности. Следует отметить, что данная формула является простейшей: в ней не учитываются некоторые закономерности, связанные с информацией, которая может иметься у наблюдателя до появления данного сообщения, а поэтому весьма существенное место занимает понятие взаимной информации.

Предположим, что на выходе некоторого источника появляется совокупность сообщений из множества X0, которую мы каким-то образом определяем с учетом воздействующих помех посредством ансамбля Y0. Появление некоторого события из ансамбля Y0 изменяет вероятность р(x0 J) от некоторой априорной вероятности р(x0 J) до апостериорной вероятности р(x0 J/y0 J). Для оценки количественной меры изменения этой вероятности может быть использован логарифм отношения апостериорной вероятности к априорной, тогда информация о некотором событии из множества X0, содержащаяся в некото­ром событии из множества Y0

 

I(x0 J,y0 J)=log2[p(x0 J/y0 J)/p(x0 J)] (1.3)

 

С учетом всех событий, входящих в множества X0 Y0 можно получить окончательно взаимную информацию, как функцию некоторого ансамбля Х0 Y0

не зависящую от частных исходов, входящих в эти ансамбли. Суммируя по всем возможным событиям, составляющим ансамбли Х0 Y0 , получаем

I(X0 ,Y0)=åJ åi p(x0 J,y0 i)*log2[p(x0 J/y0 i )/p(x0 J)] (1.4)

Нетрудно видеть, что в частном случае, когда появление данного исхода y0J однозначно определяет, что исходом x0 J будет некоторый конкретный элемент множества X, получаем собственную информацию, содержащуюся в конкретном событии, т.е. в сообщении.

Рассмотренные формулы можно применять для оценки количества информации в реальных условиях передачи. Например, если передается множество двоичных последовательностей длиной т с вероятностью появления каждой последовательности 1/М, где М=2m то собственная информация, содержащаяся в каждом сообщении, или количество в одном усредненном сообщении

I(Х0)=log2 p(x0 J)=m двоичных единиц, т.е., используя код без избыточности, получаем, что каждый элемент двоичного кода переносит одну двоичную единицу информации. При введении избыточности в код сохраняется число передаваемых сообщений М, однако длина кода возрастает до п. Количество передаваемой информации составит при равновероятности передаваемых сообщений, как и ранее, I=log2М, т.е. т двоичных единиц. Поскольку для передачи m двоичных единиц используется n элементов в коде, где n>m, то каждый элемент кода передает m/n двоичных единиц информации, т.е. в одном элементе избыточного кода передается менее одной двоичной единицы информации за счет избыточности, которая тратится либо на обнаружение, либо на обнаружение и исправление ошибок.

Таким образом, аддитивная мера информации позволяет оценить количество информации, передаваемой в одном элементе кода с учетом статистических свойств источника информации, и дает возможность в дальнейшем перейти к оценке скорости передачи информации и сравнению ее с пропускной способностью канала связи, что в целом позволяет дать общую характеристику эффективности использования канала связи, т.е. эффективности согласования источника информации с каналом связи.

 









Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте:


©2015- 2018 zdamsam.ru Размещенные материалы защищены законодательством РФ.