Когда данные не помещаются в память одного компьютера, их обрабатывают распределённо. Большие данные требуют своих форматов хранения, колоночных баз и фреймворков вроде Hadoop и Spark.
Что нужно знать
- Большие данные — «три V»: объём (volume), скорость (velocity), разнообразие (variety).
- Форматы: JSON и CSV (текстовые), Parquet (бинарный колоночный, хорошо сжимается).
- Строчное хранение удобно для записи, колоночное — для аналитики (читаются только нужные столбцы).
- Колоночные базы для аналитики: ClickHouse; HBase — распределённое хранилище.
- MapReduce: map (обработка кусков) → shuffle (группировка по ключу) → reduce (свёртка); реализация — Hadoop.
- Spark обрабатывает данные в памяти кластера; PySpark — интерфейс на Python.
- Ленивые вычисления: преобразования (map, filter) только планируются, выполнение запускают действия (count, collect).
Где чаще всего ошибаются
- Ожидать, что преобразование в Spark выполнится сразу.
- Хранить аналитические данные только в строчном формате.
- Путать этапы map и reduce.
Проверить себя
По этой же теме курса есть проверочная работа из 15 заданий на 25 минут. Проверка автоматическая, результат виден сразу — и по работе целиком, и по каждой теме.
Большие данные · 10–11 классы · Распределённая обработка больших данных