|
|
Ентропія як міра кількості інформаціїЕнтропія, як міра кількості інформації, використовується тільки для вирішення технічних питань, наприклад, оптимального кодування інформації (закодувати більшу кількість інформації меншим числом кодових символів). При цьому абстрагуються від змісту цієї інформації. Приклад. Нехай система S має 4 стани з ймовірностями P 1=0,5; P 2=0,25; P 3= P 4=0,125. Для передачі повідомлення про стан системи S можна скористатися рівномірним двохбітовим кодом: S 1 ~ 00; S 2 ~ 01; S 3 ~ 10; S 4 ~ 11. Щоб передавати за секунду 1000повідомлень про стан системи S треба мати канал зв’язку потужністю 2000 біт за секунду (бод). Розрахуємо ентропію системи S:
Як бачимо, для з’ясування стану системи S достатньо в повідомленні передавати в середньому всього 1.75 біт інформації, а не2 біта, як ми припускали при використанні рівномірного двохбітового коду. Часткова інформація в кожному окремому повідомленні про стан системи S є різною і дорівнює: - в 1 - мустані: - в 2 - мустан: – в 3 - мучи4 - му стані: Висновок: чим менш ймовірний стан системи, тим більшу кількість інформації отримаємо від окремого повідомлення про те, чи знаходиться система в тому стані. У відповідності до отриманих даних про часткову інформацію в окремих повідомленнях про стан системи складемо коди для їхньої передачі інакше: S 1 ~ 0 ( 1 біт); S 2 ~ 10 ( 2 біта); S 3 ~ 110 ( 3 біта); S 4 ~ 111 ( 3 біта). Тепер кількість біт інформації, що передається в кожному окремому повідомленні співпадає з частковою інформацією, що міститься в ньому. Нерівномірні коди повідомлень складають таким чином, щоб була можливість їх зчитувати, навіть якщо вони записані без розподілювачів. Для розпізнавання змісту повідомлень такі коди супроводжують алгоритмом. Такі коди називають префіксними. Префіксній код – це нерівномірний код, в якому жодне окреме повідомлення не є початком іншого повідомлення. Префіксний код дозволяє зчитувати текст повідомлень, яки записані підряд без відокремлень одне від одного. Алгоритм розпізнавання змісту повідомлення: якщо перший символ 0, то це S 1 (і кінець), інакше, якщо другий символ 0, це S 2 (і кінець), інакше, якщо третій символ 0, це S 3 (і кінець), інакше це S 4. Відшукаємо середню кількість інформації в повідомленнях про стан системи S, закодованих префіксним кодом:
де Відповідно для передачі Рівність повної інформації та ентропії системи Неможливо закодувати повідомлення так, щоб повна інформація в повідомленнях про стан системи була б меншою за ентропію цієї системи. В теорії інформації доведено, що така середня кількість інформації в повідомленнях про стан системи, яка дорівнює ентропії системи є мінімально можливою. Якщо б всі стани системи були б рівноймовірні, то користуватися префіксним кодом було б недоречно. Доведемо це. Розрахуємо ентропію системи Z з чотирма рівноймовірними станами:
Середня кількість інформації в повідомленнях про стан системи Z, закодованих префіксним кодом:
Середня кількість інформації в повідомленнях більше за ентропію системи. Отже, в цьому випадку треба скористатися рівномірним двохбітовим кодом з однаковим числом кодових символів в кожному повідомленні, тоді середня інформація в повідомленні дорівнюватиме ентропії системи:
Таким чином для кодування повідомлень про стан системи Z треба скористатися рівномірним кодом. Рівність ентропії системи Z та повної інформації в повідомленнях про її стан є ознакою оптимального кодування повідомлень. Висновок: для оптимального кодування повідомлень про стан системи, треба щоб кількість інформації в кожному окремому повідомленні про стан системи суворо відповідала частковій інформації в ньому. Саме так складають оптимальні коди повідомлень, а також розраховують потужність каналів зв’язку та запам’ятовуючих пристроїв.   ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...  Что способствует осуществлению желаний? Стопроцентная, непоколебимая уверенность в своем...  Живите по правилу: МАЛО ЛИ ЧТО НА СВЕТЕ СУЩЕСТВУЕТ? Я неслучайно подчеркиваю, что место в голове ограничено, а информации вокруг много, и что ваше право...  ЧТО И КАК ПИСАЛИ О МОДЕ В ЖУРНАЛАХ НАЧАЛА XX ВЕКА Первый номер журнала «Аполлон» за 1909 г. начинался, по сути, с программного заявления редакции журнала... Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте:
|
біт,
біта,
біта.
біт.
– кількість біт в окремому повідомленні про стан системи 
.
повідомлень про стан системи S за одну секунду префіксним кодом треба мати канал зв’язку потужністю 1750 біт за секунду (бод), а не2000, як при використанні рівномірного коду.
є ознакою оптимального кодування повідомлень про її стан.
біта,
біт.
біта.