Формула Шеннона (Інформаційна ентропія) Дана формула також як і формула Хартлі, в інформатиці застосовується для обчислення загальної кількості інформації при різних ймовірностях.Feb 17, 2022

Перша теорема Шеннона: якщо пропускна здатність каналу без перешкод перевищує продуктивність джерела повідомлень, тобто задовольняється умова Ck>Vu, існує спосіб кодування і декодування повідомлень джерела, що забезпечує як завгодно високу надійність передачі повідомлень.

Формула Хартлі чи хартліївська кількість інформації чи міра Хартлі — логарифмічний захід інформації, що визначає кількість інформації, що міститься у повідомленні.

Шеннон вніс ключовий внесок у теорію імовірнісних схем, теорію ігор, теорію автоматів та теорію систем управління – галузі наук, що входять у поняття «кібернетика».