Machine Learning

2023/2024

Academic Year

RUS

Instruction in Russian

6

ECTS credits

Delivered at:

Joint Department with MERA Group (Faculty of Informatics, Mathematics, and Computer Science (HSE Nizhny Novgorod))

Course type:

Compulsory course

When:

4 year, 3 module

Instructor

Burashnikov, Evgenii

Программа дисциплины

Аннотация

Целью освоения дисциплины «Машинное обучение», является изучение основных аппаратов машинного обучения, эффективных алгоритмов обучения и применения обученных моделей, основ теории байесовского вывода. В результате изучения дисциплины у студента будет сформировано представление о современном состоянии дел в теории байесовского вывода. Студент получит также представление об основных методах машинного обучения, соответствующих алгоритмах вывода, вероятностных основах машинного обучения и соответствующих моделях. Изучение дисциплины будет способствовать как развитию вероятностной интуиции и разработке моделей и методов машинного обучения, так и практическому их применению.

Цель освоения дисциплины

• изучение основных аппаратов машинного обучения, эффективных алгоритмов обучения
• применения обученных моделей, основ теории байесовского вывода

Планируемые результаты обучения

• Демонстрирует знание вариантов SVM
• Демонстрирует знание метода опорных векторов
• Демонстрирует знание мультиномиального и многомерного наивного байесовского классификатора
• демонстрирует знание правила Лапласа и сопряженных априорных распределений
• Демонстрирует знание скрытых марковских моделей
• Демонстрирует знание статистической теории принятия решений
• Демонстрирует знания в области теории вероятностей, теоремы Байеса и машинного обучения
• Знает метод наименьших квадратов и метод ближайших соседей
• Знает разные формы регуляризаторов, Лассо-регрессию, эквивалентные ядра
• Умеет комбинировать модели с помощью усреднения, бутстрапа и бэггинга
• Умеет обучать логистическую регрессию и аппроксимировать по Лапласу
• Умеет применять иерархическую кластеризацию методами теории графов
• Умеет применять метод ближайших соседей и сингулярное разложение матриц к рекомендательным системам
• Умеет решать задачи классификации
• Умеет ставить задачу ранжирования (RankBoost, LambdaRank)
• Умеет строить линейную и логистическую регрессию
• Умеет строить линейную регрессию по-байесовски

Содержание учебной дисциплины

• Введение. История искусственного интел-лекта. Вспоминаем теорию вероятностей. Теорема Байеса и машинное обучение. Что умеет делать машинное обучение
• Правило Лапласа. Априорные распределения. Сопряжённые априорные распределения.
• Наименьшие квадраты и ближайшие соседи. Линейная регрессия. Логистическая регрессия.
• Статистическая теория принятия решений. Разложение bias-variance-noise. Оверфиттинг. Регуляризация: гребневая регрессия. Линейная регрессия по-байесовски.
• Линейная регрессия: разные формы регуляризаторов. Лассо-регрессия. Эквивалентные ядра. Проклятие размерности.
• Задачи классификации. Линейный дискриминант Фишера. Наивный байесовский классификатор: мультиномиальный и многомерный.
• Логистическая регрессия: как обучать. Мультиклассовая логистическая регрессия. Аппроксимация по Лапласу. Пробит. Логистическая регрессия по-байесовски.
• Метод опорных векторов (SVM). Трюк с ядрами.
• Варианты SVM. SVM по-байесовски: rele-vance vector machines.
• Кластеризация: иерархическая, методами теории графов. Алгоритм EM для кластеризации.
• Скрытые марковские модели.
• Комбинация моделей: усреднение, бутс-трап, бэггинг. Бустинг: AdaBoost.
• Обучение ранжированию: постановка за-дачи, RankBoost. LambdaRank.
• Рекомендательные системы: метод ближайших соседей, сингулярное разложение матриц.

Элементы контроля

• Лабораторная работа
• Контрольная работа

Промежуточная аттестация

• 2023/2024 учебный год 3 модуль
  0.4 * Контрольная работа + 0.6 * Лабораторная работа

Список литературы

Рекомендуемая основная литература

• Murphy, K. P. (2012). Machine Learning : A Probabilistic Perspective. Cambridge, Mass: The MIT Press. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=480968

Рекомендуемая дополнительная литература

• Hastie, T., Tibshirani, R., & Friedman, J. H. (2009). The Elements of Statistical Learning : Data Mining, Inference, and Prediction (Vol. Second edition, corrected 7th printing). New York: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=277008

Авторы

• Николенко Сергей Игоревич