Таким образом, информация по своей сущности теснейшим и органичным образом связана с выбором и принятием решений.

Отсюда следует простейшее на первый взгляд заключение: "Для принятия решений нужна информация, без информации принятие решений невозможно, значение информации для принятия решений является определяющим, процесс принятия решений генерирует информацию ".

Мера Шеннона, как обобщение меры Хартли для неравновероятных событий.

Представим себе, что имеются объекты различных видов, причем:

– всего имеется M видов объектов;

– объектов каждого i-го вида имеется N_i:

Пусть, например, в мешке имеются бильярдные шары, на которых написаны числа 2, 4, 8 и имеется:

– 4 шара с надписью "2", т.е. N₂=2;

– 4 шара с надписью "4", т.е. N₄=4:

– 8 шаров с надписью "8", т.е. N₈=8:

всего, 14 шаров.

Тогда по Хартли, если мы извлекаем один из объектов i-го вида, то получаем I_i бит информации

В частности:

– при извлечении шара с надписью "2" мы получаем бит информации;

– при извлечении шара с надписью "4" мы получаем бит информации;

– при извлечении шара с надписью "8" мы получаем бит информации;

В среднем по , т.е. на один объект i-го вида:

Или количественно в нашем примере:

Сумма этих средних будет равна:

Последнее выражение – это и есть формула Шеннона, которая, таким образом, позволяет рассчитать средневзвешенное количество информации, приходящееся на один объект, получаемое при предъявлении объектов различных видов, причем внутри объектов каждого вида выбор равновероятен, а количество объектов разного вида вообще говоря различно.

При переходе от частот к вероятностям в формуле Шеннона использованы элементарные свойства логарифмов и введено обозначение: , которое традиционно интерпретируется как вероятность встречи объектов i-го вида.

По мнению автора это не совсем точно, т.к. из элементарной теории вероятностей известно, что в общем случае вероятность определяется иначе, а именно как отношение количества событий определенного вида к общему количеству всех возможных событий всех видов.

Если использовать приведенные выше обозначения, то эта вероятность должна выражаться следующей формулой:

Из сравнения этих выражений видно, что общее выражение переходит в в случае, когда все N_i =1 и сумма всех N_i=N.

Количественно:

Если количество объектов каждого вида одинаково, то формула Шеннона преобразуется в формулу Хартли.

Отметим, что идентификация объектов, как относящихся к тому или иному виду (i-му виду) осуществляется на основе признаков этих объектов. В простейшем варианте это может быть и один признак, например номер вида на бильярдном шаре, но в реальных случаях признаков может быть очень много и их различные наборы сложным и неоднозначным образом могут быть связаны с принадлежностью объектов к тем или иным классам.

Но главный вывод от этого не изменяется: формула Шеннона дает средневзвешенное количество информации, приходящееся на один объект, получаемое при предъявлении объектов различных видов (классов), отличающихся своими наборами признаков. Мера Шеннона является обобщением меры Хартли для неравновероятных событий.

Связь принятия решений и распознавания образов

Распознавание образов есть решение задачи идентификации состояния объекта или системы, отнесение его к той или иной классификационной категории.

Распознавание образов и принятие решений тесно взаимосвязаны:

– само распознавание безусловно представляет собой принятие решения об отнесении состояния системы к той или иной категории;

– от того, к какой категории отнесено состояние системы самым непосредственным образом зависят и решения по управлению этой системой;

– математический аппарат распознавания образов и принятия решений имеет очень много аналогий, а иногда и просто является тождественным (например, сведение многокритериальной задачи к однокритериальной).

ЧТО И КАК ПИСАЛИ О МОДЕ В ЖУРНАЛАХ НАЧАЛА XX ВЕКА Первый номер журнала «Аполлон» за 1909 г. начинался, по сути, с программного заявления редакции журнала...

Что делать, если нет взаимности? А теперь спустимся с небес на землю. Приземлились? Продолжаем разговор...

ЧТО ПРОИСХОДИТ ВО ВЗРОСЛОЙ ЖИЗНИ? Если вы все еще «неправильно» связаны с матерью, вы избегаете отделения и независимого взрослого существования...

Что вызывает тренды на фондовых и товарных рынках Объяснение теории грузового поезда Первые 17 лет моих рыночных исследований сводились к попыткам вычис­лить, когда этот...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: