Работа с большими данными начинается на Python: собрать, сохранить, описать статистикой и показать графиком. Дальше — масштабирование на кластер и модели машинного обучения, которые находят закономерности сами.
Что нужно знать
- Структуры Python: список (изменяемый, по порядку), кортеж (неизменяемый), множество (уникальные значения), словарь (ключ → значение).
- Статистика: среднее, дисперсия, стандартное отклонение; правило трёх сигм — почти все значения нормального распределения в пределах $\pm 3\sigma$.
- Хранение: файлы (CSV, JSON), базы данных (SQL), разметка XML.
- Парсинг — сбор данных со страниц сайтов программой.
- MapReduce: map (обработка частей), shuffle (группировка), reduce (свёртка); Hadoop — его реализация.
- Модели: линейная регрессия (число), логистическая (вероятность класса), деревья решений, k-means (кластеры без разметки).
- Рекомендательные системы и нейронные сети; глубокое обучение — сети с многими слоями.
Где чаще всего ошибаются
- Хранить уникальные значения в списке вместо множества.
- Путать регрессию (число) с классификацией (класс).
- Считать k-means обучением с учителем.
Проверить себя
По этой же теме курса есть проверочная работа из 15 заданий на 25 минут. Проверка автоматическая, результат виден сразу — и по работе целиком, и по каждой теме.
Введение в ИТ-специальность · 10 класс · Большие данные и искусственный интеллект