Сдам Сам

ПОЛЕЗНОЕ


КАТЕГОРИИ







Основные теоретические положения





Теория информации — раздел прикладной математики, определяющий понятие информации, её свойства и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, оперирует с математическими моделями, а не с реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.

Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации тесно связана с криптографией и другими смежными дисциплинами.

Теорией информации называется наука, изучающая количественные закономерности, связанные с получением, передачей, обработкой и хранением информации. Возникнув в 40-х годах нашего века из практических задач теории связи, теория информации в настоящее время становится необходимым математическим аппаратом при изучении всевозможных процессов управления.

Черты случайности, присущие процессам передачи информации, заставляют обратиться при изучении этих процессов к вероятностным методам. При этом не удается ограничиться классическими методами теории вероятностей, и возникает необходимость в создании новых вероятностных категорий. Поэтому теория информации представляет собой не просто прикладную науку, в которой применяются вероятностные методы исследования, а должна рассматриваться как раздел теории вероятностей.

Получение, обработка, передача и хранение различного рода информации — непременное условие работы любой управляющей системы. В этом процессе всегда происходит обмен информацией между различными звеньями системы. Простейший случай — передача информации от управляющего устройства к исполнительному органу (передача команд). Более сложный случай — замкнутый контур управления, в котором информация о результатах выполнения команд передается управляющему устройству с помощью так называемой «обратной связи».



Любая информация для того, чтобы быть переданной, должна быть соответственным образом «закодирована», т.е. переведена на язык специальных символов или сигналов. Сигналами, передающими информацию, могут быть электрические импульсы, световые или звуковые колебания, механические перемещения и т.д.

Одной из задач теории информации является отыскание наиболее экономных методов кодирования, позволяющих передать заданную информацию с помощью минимального количества символов. Эта задача решается как при отсутствии, так и при наличии искажений (помех) в канале связи.

Другая типичная задача теории информации ставится следующим образом: имеется источник информации (передатчик), непрерывно вырабатывающий информацию, и канал связи, по которому эта информация передается в другую инстанцию (приемник). Какова должна быть пропускная способность канала связи для того, чтобы канал «справлялся» со своей задачей, т.е. передавал всю поступающую информацию без задержек и искажений.

Ряд задач теории информации относится к определению объема запоминающих устройств, предназначенных для хранения информации, к способам ввода информации в эти запоминающие устройства и вывода ее для непосредственного использования.

Чтобы решать подобные задачи, нужно прежде всего научиться измерять количественно объем передаваемой или хранимой информации, пропускную способность каналов связи и их чувствительность к помехам (искажениям). Основные понятия теории информации, излагаемые в настоящей главе, позволяют дать количественное описание процессов передачи информации и наметить некоторые математические закономерности, относящиеся к этим процессам.

Основные всеобщие свойства информации (по К.Шеннону):

· информация существует только в случайных объектах;

· количество информации зависит от неожиданности изменения процесса или сигнала;

· количество информации измеряется положительным числом;

· информация об объекте А относительно объекта В равна информации в объекте В относительно объекта А – в этом проявляется так называемый информационный морфизм, то есть взаимодействие объектов А и В;

· информация в объекте А относительно объекта В не зависит от объекта С, если объекты В и С не влияют друг на друга, проявление чего относится к признакам так называемой хиральной чистоты.

Меры полезности информации: семантические меры, энтропия, шум, тезаурус.

Структурные меры информации: геометрическая, комбинаторная, мера Хартли.

Статистические меры информации: вероятностные оценки, закономерности и законы распределения событий и количественных мер информации, энтропии, соотношение энтропиии и количества информации.

Семантические меры информации: пертинентность, релевантность, когнитивность, описательность, асимметрия, эксцесс, элипсность и другие.

 

Энтропия сложной системы

На практике часто приходится определять энтропию для сложной системы, полученной объединением двух или более простых систем.

Под объединением двух систем X и Y с возможными состояниями x1,…,xn; y1,…ym понимается сложная система (X, Y), состояния которой (xi, yj) представляют собой все возможные комбинации состояний xi, yj систем X и Y.

Очевидно, число возможных состояний системы (X, Y) равно . Обозначим Pij вероятность того, что система (X, Y) будет в состоянии (xi, yj):

Вероятности Pij удобно расположить в виде таблицы (матрицы)

Найдем энтропию сложной системы. По определению она равна сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком:

или, в других обозначениях:

Энтропию сложной системы, как и энтропию простой, тоже можно записать в форме математического ожидания:

,

где - логарифм вероятности состояния системы, рассматриваемый как случайная величина (функция состояния).

Предположим, что системы и независимы, т. е. принимают свои состояния независимо одна от другой, и вычислим в этом предположении энтропию сложной системы. По теореме умножения вероятностей для независимых событий

,

откуда

.

Подставляя в (18.3.3), получим

,

или

,

т. е. при объединении независимых систем их энтропии складываются.

Доказанное положение называется теоремой сложения энтропий.

Теорема сложения энтропий может быть легко обобщена на произвольное число независимых систем:

Если объединяемые системы зависимы, простое сложение энтропий уже неприменимо. В этом случае энтропия сложной системы меньше, чем сумма энтропий ее составных частей. Чтобы найти энтропию системы, составленной из зависимых элементов, нужно ввести новое понятие условной энтропии.









ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...

ЧТО ПРОИСХОДИТ, КОГДА МЫ ССОРИМСЯ Не понимая различий, существующих между мужчинами и женщинами, очень легко довести дело до ссоры...

Что способствует осуществлению желаний? Стопроцентная, непоколебимая уверенность в своем...

Что вызывает тренды на фондовых и товарных рынках Объяснение теории грузового поезда Первые 17 лет моих рыночных исследований сводились к попыткам вычис­лить, когда этот...





Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте:


©2015- 2021 zdamsam.ru Размещенные материалы защищены законодательством РФ.