Количество информации измеряют двумя формулами: Хартли — для равновероятных событий, Шеннона — для разновероятных. Сжатие же опирается на то, что частые символы можно кодировать короче редких.
Что нужно знать
- Формула Хартли: при $N$ равновероятных исходах сообщение несёт $I = \log_2 N$ бит.
- Формула Шеннона учитывает разные вероятности исходов и даёт меньшее или равное значение.
- Объём переданных данных равен скорости канала, умноженной на время; скорость измеряется в битах в секунду.
- Сжатие без потерь восстанавливает исходные данные точно: алгоритмы Хаффмана и RLE.
- Сжатие с потерями отбрасывает часть данных — так работают JPEG и MP3; исходник вернуть нельзя.
- Код Хаффмана даёт частым символам короткие кодовые слова, редким — длинные.
- Любой код Хаффмана префиксный: ни одно слово не является началом другого, поэтому разделители не нужны.
Где чаще всего ошибаются
- Применяют формулу Хартли к неравновероятным событиям.
- Считают, что сжатие с потерями обратимо.
- Забывают перевести байты в биты при расчёте времени передачи.
- Строят неравномерный код, нарушающий условие Фано, и получают неоднозначное декодирование.
Проверить себя
По этой же главе есть проверочная работа из 11 заданий на 25 минут. Проверка автоматическая, результат виден сразу — и по работе целиком, и по каждой теме.
Информатика · 11 класс · Поляков, 2023 · Глава 1 · Количество информации, передача и сжатие данных