Сдам Сам

ПОЛЕЗНОЕ


КАТЕГОРИИ







Ентропія як міра кількості інформації





Ентропія, як міра кількості інформації, використовується тільки для вирішення технічних питань, наприклад, оптимального кодування інформації (закодувати більшу кількість інформації меншим числом кодових символів).

При цьому абстрагуються від змісту цієї інформації.

Приклад.

Нехай система S має 4 стани з ймовірностями P1=0,5; P2=0,25; P3=P4=0,125. Для передачі повідомлення про стан системи S можна скористатися рівномірним двохбітовим кодом:

S1 ~00; S2~01; S3~10; S4~11.

Щоб передавати за секунду 1000повідомлень про стан системи S треба мати канал зв’язку потужністю 2000 біт за секунду (бод).

Розрахуємо ентропію системи S:

Як бачимо, для з’ясування стану системи S достатньо в повідомленні передавати в середньому всього 1.75 біт інформації, а не2 біта, як ми припускали при використанні рівномірного двохбітового коду.

Часткова інформація в кожному окремому повідомленні про стан системи S є різною і дорівнює:

- в 1-мустані: біт,

- в 2-мустан: біта,

– в 3-мучи4-му стані: біта.

Висновок: чим менш ймовірний стан системи, тим більшу кількість інформації отримаємо від окремого повідомлення про те, чи знаходиться система в тому стані.

У відповідності до отриманих даних про часткову інформацію в окремих повідомленнях про стан системи складемо коди для їхньої передачі інакше:

S1~0(1 біт); S2~10(2 біта); S3~110(3 біта); S4~111(3 біта).

Тепер кількість біт інформації, що передається в кожному окремому повідомленні співпадає з частковою інформацією, що міститься в ньому.

Нерівномірні коди повідомлень складають таким чином, щоб була можливість їх зчитувати, навіть якщо вони записані без розподілювачів. Для розпізнавання змісту повідомлень такі коди супроводжують алгоритмом. Такі коди називають префіксними.

Префіксній код – це нерівномірний код, в якому жодне окреме повідомлення не є початком іншого повідомлення. Префіксний код дозволяє зчитувати текст повідомлень, яки записані підряд без відокремлень одне від одного.

Алгоритм розпізнавання змісту повідомлення: якщо перший символ 0, то це S1 (і кінець), інакше, якщо другий символ 0, це S2 (і кінець), інакше, якщо третій символ 0, це S3 (і кінець), інакше це S4.

Відшукаємо середню кількість інформації в повідомленнях про стан системи S, закодованих префіксним кодом:

біт.

де – кількість біт в окремому повідомленні про стан системи .

Відповідно для передачі повідомлень про стан системи S за одну секунду префіксним кодом треба мати канал зв’язку потужністю 1750 біт за секунду (бод), а не2000, як при використанні рівномірного коду.

Рівність повної інформації та ентропії системи є ознакою оптимального кодування повідомлень про її стан.

Неможливо закодувати повідомлення так, щоб повна інформація в повідомленнях про стан системи була б меншою за ентропію цієї системи. В теорії інформації доведено, що така середня кількість інформації в повідомленнях про стан системи, яка дорівнює ентропії системи є мінімально можливою.

Якщо б всі стани системи були б рівноймовірні, то користуватися префіксним кодом було б недоречно. Доведемо це.

Розрахуємо ентропію системи Z з чотирма рівноймовірними станами:

біта,

Середня кількість інформації в повідомленнях про стан системи Z, закодованих префіксним кодом:

біт.

Середня кількість інформації в повідомленнях більше за ентропію системи. Отже, в цьому випадку треба скористатися рівномірним двохбітовим кодом з однаковим числом кодових символів в кожному повідомленні, тоді середня інформація в повідомленні дорівнюватиме ентропії системи:

біта.

Таким чином для кодування повідомлень про стан системи Z треба скористатися рівномірним кодом. Рівність ентропії системи Z та повної інформації в повідомленнях про її стан є ознакою оптимального кодування повідомлень.

Висновок: для оптимального кодування повідомлень про стан системи, треба щоб кількість інформації в кожному окремому повідомленні про стан системи суворо відповідала частковій інформації в ньому.

Саме так складають оптимальні коди повідомлень, а також розраховують потужність каналів зв’язку та запам’ятовуючих пристроїв.







Что способствует осуществлению желаний? Стопроцентная, непоколебимая уверенность в своем...

Живите по правилу: МАЛО ЛИ ЧТО НА СВЕТЕ СУЩЕСТВУЕТ? Я неслучайно подчеркиваю, что место в голове ограничено, а информации вокруг много, и что ваше право...

Что вызывает тренды на фондовых и товарных рынках Объяснение теории грузового поезда Первые 17 лет моих рыночных исследований сводились к попыткам вычис­лить, когда этот...

Что будет с Землей, если ось ее сместится на 6666 км? Что будет с Землей? - задался я вопросом...





Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте:


©2015- 2023 zdamsam.ru Размещенные материалы защищены законодательством РФ.