|
Одиниці виміру ступеню невизначеності системиМірою апріорної (до одержання повідомлення) невизначеності системи Х в теорії інформації є ентропія.
де
Оскільки всі На практиці зручно прийняти За одиницю виміру ентропії прийнятий ступінь невизначеності системи, що має два рівноймовірні стани, й називається ця одиниця біт (bit: binary digit – двійкова цифра).
Ентропія системи, яка має
бо ймовірність і-го стану системи Наприклад, ентропія системи
Властивості ентропії 1. Ентропія системи, стан якої відомий, дорівнює нулю. бо границя невизначеності Якщо стан системи відомий, це означає, що ймовірність одного зі станів системи дорівнює одиниці, решти – нулю. 2. Ентропія системи з кінцевою множиною можливих станів досягає максимуму, якщо всі стани системи рівноймовірні.
Приклад 1. Розрахуємо ентропію інвентарного номера вагона. Інвентарний № вагона складається з
Приклад 2. На вантажний двір за добу прибуває 2 вагона, причому Знайти ентропію системи вантажний район, стан якої визначається прибулим числом піввагонів Система – на вантажний район за добу не прибуло жодного піввагона,
– на вантажний район за добу прибув один піввагон,
– на вантажний район за добу прибуло два піввагона,
Подамо вихідні дані у табличному вигляді. Таблиця 30
Ентропія та інформація В міру надходження інформації про систему, її ентропія зменшується і може досягти де Інформація, що необхідна для повного з’ясування стану системи, називається повною інформацією. Повнаінформація про стан системи дорівнює ентропії цієї системи. А формула для її розрахунку має дещо інший вигляд: Величину Інформацію від окремого повідомлення про перебування системи в і-му стані називають частковою інформацією. Якщо де Саме тому повну інформацію називають ще середньою інформацією про стан системи. Коли всі стани системи рівноймовірні часткова інформація дорівнює повній.
Коли стани системи мають різні ймовірності, кількість інформації від різних повідомлень теж різна. Найбільша кількість інформації міститься в повідомленнях про найменш ймовірні (події) стани системи. Висновок: найбільша часткова інформація міститься в повідомленні про найменш ймовірний стан системи. Наприклад: нехай але якщо Розрахуємо часткову інформацію про прибуття на вантажний район одного, двох піввагонів чи не прибуття жодного: ![]() ![]() Что делает отдел по эксплуатации и сопровождению ИС? Отвечает за сохранность данных (расписания копирования, копирование и пр.)... ![]() ЧТО ПРОИСХОДИТ, КОГДА МЫ ССОРИМСЯ Не понимая различий, существующих между мужчинами и женщинами, очень легко довести дело до ссоры... ![]() ЧТО ПРОИСХОДИТ ВО ВЗРОСЛОЙ ЖИЗНИ? Если вы все еще «неправильно» связаны с матерью, вы избегаете отделения и независимого взрослого существования... ![]() Что делать, если нет взаимности? А теперь спустимся с небес на землю. Приземлились? Продолжаем разговор... Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте:
|