Распределённая обработка больших данных: MapReduce, Spark, форматы — тест

Когда данных столько, что их не обработать на одном компьютере даже за сутки, задачу делят между сотнями машин. Модуль одиннадцатого класса направления «Большие данные» объясняет, как это делается: как хранить данные, чтобы их было быстро читать, и как разбить вычисление на части, которые можно выполнять параллельно. Работа проверяет понимание этих идей на маленьких примерах.

Темы

Что делает данные большими: объём, скорость поступления, разнообразие. Текстовые и бинарные форматы хранения — JSON, CSV, Parquet; строчное и колоночное хранение и сжатие. Обработка данных в памяти и продвинутые возможности pandas. Колоночные базы данных для аналитики — ClickHouse, HBase. Основы распределённой обработки и архитектура «клиент — сервер». Парадигма MapReduce: этапы map, shuffle и reduce; Hadoop. Apache Spark и PySpark: компоненты экосистемы, ленивые вычисления, преобразования и действия, параллельная обработка на кластере.

Формат

Пятнадцать заданий: выбрать формат хранения под задачу, проследить подсчёт слов в MapReduce, посчитать выигрыш от колоночного чтения, сопоставить этап и его действие, расставить шаги обработки задания в Spark, дополнить текст о ленивых вычислениях. Двадцать пять минут.

Разбор

Пояснения объясняют, почему аналитический запрос к трём столбцам из ста быстрее работает с колоночным форматом, почему shuffle — самый дорогой этап распределённой обработки и почему Spark быстрее классического Hadoop на повторяющихся вычислениях: промежуточные данные остаются в памяти.

Назначение

Работа подходит после модуля о распределённой обработке в первом полугодии одиннадцатого класса и перед итоговым проектом по организации хранения и обработки данных, где ученикам предстоит выбрать формат, хранилище и способ обработки самостоятельно.

Где и как проходить тест

Комплект работает и на школьном компьютере, и на личном смартфоне ученика. Так как время доступа к тесту настраивается, его спокойно можно выполнять вне школы, дома. Предусмотрен контроль честности: переключение на другие вкладки и приложения во время теста отслеживается.