Кто читает:: Кафедра прикладной математики и информатики (Нижний Новгород) (Факультет информатики, математики и компьютерных наук (Нижний Новгород))

Статус:: Курс обязательный

Когда читается:: 1-й курс, 3, 4 модуль

Дополнительные материалы в LMS Задать вопрос

Аннотация

Изучение данной дисциплины базируется на следующих дисциплинах: • Дискретная математика • Теория вероятности • Исследование операций. В результате освоения дисциплины студент должен: • Знать основные характеристики больших данных, знать основные технологии, применяемые для хранения и поиска в больших данных. • Уметь применять методы анализа больших данных, уметь реализовывать приложения для аналитики больших данных

Цель освоения дисциплины

Ознакомление с основными технологиями решения задач обработки больших по объему, быстро изменяющихся и плохо структурированных данных, объединяемых термином «большие данные»

Планируемые результаты обучения

В результате освоения темы обучающийся: объясняет основные понятия и принципы, рассматриваемые в рамках темы; анализирует роль изучаемых технологий в архитектуре Big Data-систем; сопоставляет различные архитектурные и технологические подходы; обосновывает выбор решений для хранения, передачи и обработки больших данных; использует терминологию и концепции Big Data при описании и анализе прикладных кейсов.
В результате освоения темы обучающийся: объясняет принципы потоковой передачи данных; анализирует архитектуру Kafka и функции её компонентов; обосновывает использование Kafka для решения задач потоковой обработки; интерпретирует схемы потоковых пайплайнов.
В результате освоения темы обучающийся: описывает архитектуру распределённого хранения данных; анализирует механизмы обеспечения надёжности в HDFS; сравнивает распределённое и централизованное хранение данных; обосновывает выбор Hadoop для хранения больших объёмов данных.
В результате освоения темы обучающийся: описывает процесс распределённой обработки данных; анализирует выполнение вычислений в Spark-приложениях; сопоставляет Spark с альтернативными подходами обработки данных; обосновывает применение Spark в Big Data-проектах.
В результате освоения темы обучающийся: описывает архитектуру Data Lake и Lakehouse; сравнивает ETL и ELT-подходы; анализирует требования к надёжности и согласованности данных; обосновывает выбор табличных форматов и Lakehouse-решений.

Содержание учебной дисциплины

Тема 1. Большие данные в цифровой экономике и современных ИТ-системах
Тема 2. Apache Kafka как платформа потоковой обработки данных
Тема 3. Hadoop и распределённое хранение больших данных
Тема 4. Apache Spark и распределённая обработка больших данных
Тема 5. Data Lake, ETL/ELT и современные Lakehouse-архитектуры

Элементы контроля

Лабораторная работа №1. Kafka
Лабораторная работа №2. Hadoop и Spark
Лабораторная работа №3. Lakehouse
Тест

Промежуточная аттестация

2026/2027 4th module
0.2 * Лабораторная работа №3. Lakehouse + 0.2 * Лабораторная работа №2. Hadoop и Spark + 0.2 * Лабораторная работа №1. Kafka + 0.4 * Тест

Список литературы

Авторы

Максимов Антон Сергеевич
Кузьмин Никита Александрович

Магистерская программа «Интеллектуальный анализ данных»

Технологии работы с большими массивами данных

Программа дисциплины