Research Seminar "Methods of Data Mining"

2020/2021

Academic Year

RUS

Instruction in Russian

4

ECTS credits

Delivered at:

Department of Applied Mathematics and Informatics (Faculty of Informatics, Mathematics, and Computer Science (HSE Nizhny Novgorod))

Course type:

Compulsory course

When:

1 year, 3, 4 module

Instructor

Savchenko, Andrey

Программа дисциплины

Аннотация

Настоящий НИС относится к блоку программы Научно-исследовательская работа. Программа предназначена для приобретения студентами навыков разработки проектов создания интеллектуальных систем анализа мультимедийных данных Для успешного изучения дисциплины студент должен владеть достаточными знаниями и навыками по следующим дисциплинам: Современные методы анализа данных; Стохастические модели; Машинное обучение. Основные положения дисциплины могут быть использованы в дальнейшем при написании выпускной квалификационной работы.

Цель освоения дисциплины

• Знакомство студентов с современными программными библиотеками, предназначенными для анализа мультимедийных данных
• Получение необходимых знаний и навыков для выполнения научно-исследовательских проектов на примере создания интеллектуальных систем анализа данных
• Приобретение умений поиска и анализа современных научных публикаций по методам интеллектуального анализа данных.

Планируемые результаты обучения

• Применяет методы переноса знаний (transfer learning), локальные дескрипторы и структурные методы для решения задач распознавания изображений.
• Применяет на практике современные методы обработки изображений (детектирование объектов, сегментация и синтез изображений).
• Применяет методы обработки изображений лиц (детектирование, верификация, идентификация), видео людей.
• Сравнивает и применяет нейросетевые модели распознавания речи. Интерпретирует методы распознавания и верификации диктора по звучащей речи.

Содержание учебной дисциплины

• Методы переноса знаний (transfer learning) для распознавания изображений. Локальные дескрипторы ключевых точек изображений. Структурные методы распознавания образов на основе теории графов.
• Детектирование объектов на изображениях и видео. Семантическая сегментация изображений. Синтез изображений. Обработка изображений лиц (детектирование, верификация, идентификация, распознавание эмоций, пола, возраста ).
• Обработка изображений/видео людей (включая реидентификацию и распознавание действий). Методы повышения эффективности и оптимизации методов принятия решений и нейронных сетей. Прикладные задачи в области понимания изображений (image captioning, question answering, driver assistance, game playing).
• Обработка речевых сигналов (в том числе очистка от шума). Нейросетевые модели распознавания речи. Синтез речи. Методы распознавания и верификации диктора по звучащей речи.

Элементы контроля

• лабораторные работы
• устный экзамен
  Экзамен проводится в устной форме (опрос по проекту "Экзаменационные задания"). Экзамен проводится на платформе Zoom ( https://zoom.us/j/4917538372). К экзамену необходимо подключиться согласно расписанию ответов, высланному преподавателем на корпоративные почты студентов накануне экзамена. Компьютер студента должен удовлетворять требованиям: наличие рабочей камеры и микрофона, поддержка Zoom. Для участия в экзамене студент обязан: поставить на аватар свою фотографию, явиться на экзамен согласно точному расписанию, при ответе включить камеру и микрофон. Во время экзамена студентам запрещено: выключать камеру, пользоваться конспектами и подсказками. Кратковременным нарушением связи во время экзамена считается нарушение связи до 5 минут. Долговременным нарушением связи во время экзамена считается нарушение 5 минут и более. При долговременном нарушении связи студент не может продолжить участие в экзамене. Процедура пересдачи аналогична процедуре сдачи.
• лабораторные работы
• устный экзамен
  Экзамен проводится в устной форме (опрос по проекту "Экзаменационные задания"). Экзамен проводится на платформе Zoom ( https://zoom.us/j/4917538372). К экзамену необходимо подключиться согласно расписанию ответов, высланному преподавателем на корпоративные почты студентов накануне экзамена. Компьютер студента должен удовлетворять требованиям: наличие рабочей камеры и микрофона, поддержка Zoom. Для участия в экзамене студент обязан: поставить на аватар свою фотографию, явиться на экзамен согласно точному расписанию, при ответе включить камеру и микрофон. Во время экзамена студентам запрещено: выключать камеру, пользоваться конспектами и подсказками. Кратковременным нарушением связи во время экзамена считается нарушение связи до 5 минут. Долговременным нарушением связи во время экзамена считается нарушение 5 минут и более. При долговременном нарушении связи студент не может продолжить участие в экзамене. Процедура пересдачи аналогична процедуре сдачи.

Промежуточная аттестация

• Промежуточная аттестация (4 модуль)
  0.5 * лабораторные работы + 0.5 * устный экзамен

Список литературы

Рекомендуемая основная литература

• Антонио Джулли, Суджит Пал - Библиотека Keras – инструмент глубокого обучения. Реализация нейронных сетей с помощью библиотек Theano и TensorFlow - Издательство "ДМК Пресс" - 2018 - 294с. - ISBN: 978-5-97060-573-8 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/111438
• Ростовцев В.С. - Искусственные нейронные сети: учебник - Издательство "Лань" - 2019 - 216с. - ISBN: 978-5-8114-3768-9 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/122180
• Селянкин В.В. - Компьютерное зрение. Анализ и обработка изображений: учебное пособие - Издательство "Лань" - 2019 - 152с. - ISBN: 978-5-8114-3368-1 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/113938

Рекомендуемая дополнительная литература

• Christopher M. Bishop. (n.d.). Australian National University Pattern Recognition and Machine Learning. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705
• Mariani, J. (2009). Language and Speech Processing. London, UK: Wiley-ISTE. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=310778
• Webb, A. R. Statistical pattern recognition. – John Wiley & Sons, 20011. – 668 pp.
• Witten, I. H. et al. Data Mining: Practical machine learning tools and techniques. – Morgan Kaufmann, 2017. – 654 pp.
• Аллен Б. Дауни - Think DSP. Цифровая обработка сигналов на Python - Издательство "ДМК Пресс" - 2017 - 160с. - ISBN: 978-5-97060-454-0 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/93566
• Броневич А.Г., Каркищенко А.Н., Лепский А.Е. - Анализ неопределенности выделения информативных признаков и представлений изображений - Издательство "Физматлит" - 2013 - 320с. - ISBN: 978-5-9221-1499-8 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/59666
• Волков В.Ю. - Адаптивные и инвариантные алгоритмы обнаружения объектов на изображениях и их моделирование в Matlab - Издательство "Лань" - 2014 - 192с. - ISBN: 978-5-8114-1656-1 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/68475
• Столов Е.Л. - Цифровая обработка сигналов. Водяные знаки в аудиофайлах: учебное пособие - Издательство "Лань" - 2018 - 176с. - ISBN: 978-5-8114-3014-7 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/106736