Кафедра прикладной математики и информатики (Нижний Новгород)

Курс посвящен изложению современных методов машинного обучения. Излагаются математические основы методов машинного обучения, основные алгоритмы, методы предобработки данных, основы теории машинного обучения. Практические задания выполняются с использованием библиотеки scikit-learn.

Цель освоения дисциплины

Подготовка к профессиональной деятельности в области машинного обучения
Развитие компетенций в области математических методов и информационных технологий.

Планируемые результаты обучения

Освоение основных теоретических положений методов машинного обучения
Овладение практическими навыками решения задач методами машинного обучения
Освоение основных теоретических положений машинного обучения

Содержание учебной дисциплины

Введение. Примеры практических задач
• Содержательная постановка задачи машинного обучения. Связь с другими областями знания и практической деятельности. Основная терминология. Примеры практических задач обучения с учителем и без учителя. Обзор учебных материалов и ресурсов Интернет по тематике дисциплины
Метод наименьших квадратов
Метод наименьших квадратов для решения задачи восстановления регрессии. Проверка значимости и доверительные интервалы для коэффициентов (регрессионный анализ). Анализ остатков. Переобучение в задаче восстановления регрессии. Методы борьбы с переобуче-нием: выбор подмножества признаков; гребневая («ридж») регрессия (регуляризация); метод «лассо».
Вероятностная постановка задачи обучения с учителем
Регрессионная функция. Байесов классификатор. Принцип максимума апостериорной вероятности. Метод максимального правдоподобия. Наивный байесов классификатор. Метод ближайших соседей для задачи классификации и задачи восстановления регрессии. Теорема об оценке риска в методе ближайшего соседа
Статистические методы решения задач классификации
Дискриминантные и дескриптивные (описательные) методы в задаче классификации. Линейный и квадратичный дискриминантный анализ. Логистическая регрессия
Нейронные сети
Нейронная сеть. Универсальная теорема об аппроксимации (без доказательства). Алгоритм обратного распространения ошибки как градиентный метод. Борьба с переобучением с помощью регуляризации. Дропаут. Глубокое обучение. Сверточные слои, слои объединения.
Деревья решений
Метод деревьев решений для решения задач машинного обучения. Алгоритм CART. Алгоритм С4.5. Отсечения.
Ансамбли решающих правил
Комбинирование слабых решающих правил. Баггинг. Случайные леса. Бустинг. Алгоритм AdaBoost. Алгоритм градиентного бустинга деревьев решений (gradient boosted trees).
Задача обучения без учителя
Задача обучения без учителя. Методы средних и медиан для решения задачи кластеризации. Методы решения задач иерархической кластеризации. Алгоритм PageRank. Алгоритм Apriori.
Метод опорных векторов
Оптимальная разделяющая гиперплоскость. Сведение метода к задаче квадратичного программирования. Ядра и спрямляющие пространства в методе «машина опорных векторов».
10. Элементы теории Вапника-Червоненкиса
Размерность Вапника–Червоненкиса. Теорема о равномерной сходимости эмпириче-ской ошибки к ожидаемому риску в случае конечной размерности Вапника–Червоненкиса

Элементы контроля

Устный экзамен
Домашнее задание
Устный экзамен
Домашнее задание

Промежуточная аттестация

Промежуточная аттестация (4 модуль)
0.5 * Домашнее задание + 0.5 * Устный экзамен

Машинное обучение

Преподаватель

Программа дисциплины

Аннотация

Цель освоения дисциплины

Планируемые результаты обучения

Содержание учебной дисциплины

Элементы контроля

Промежуточная аттестация

Список литературы

Рекомендуемая основная литература

Рекомендуемая дополнительная литература