Машинное обучение

2020/2021

Учебный год

RUS

Обучение ведется на русском языке

4

Кредиты

Кто читает:

Кафедра прикладной математики и информатики (Нижний Новгород) (Факультет информатики, математики и компьютерных наук (Нижний Новгород))

Статус:

Курс обязательный

Когда читается:

1-й курс, 3, 4 модуль

Преподаватель

Золотых Николай Юрьевич

Программа дисциплины

Аннотация

Курс посвящен изложению современных методов машинного обучения. Излагаются математические основы методов машинного обучения, основные алгоритмы, методы предобработки данных, основы теории машинного обучения. Практические задания выполняются с использованием библиотеки scikit-learn.

Цель освоения дисциплины

• Подготовка к профессиональной деятельности в области машинного обучения
• Развитие компетенций в области математических методов и информационных технологий.

Планируемые результаты обучения

• Освоение основных теоретических положений методов машинного обучения
• Овладение практическими навыками решения задач методами машинного обучения
• Освоение основных теоретических положений машинного обучения

Содержание учебной дисциплины

• Введение. Примеры практических задач
  • Содержательная постановка задачи машинного обучения. Связь с другими областями знания и практической деятельности. Основная терминология. Примеры практических задач обучения с учителем и без учителя. Обзор учебных материалов и ресурсов Интернет по тематике дисциплины
• Метод наименьших квадратов
  Метод наименьших квадратов для решения задачи восстановления регрессии. Проверка значимости и доверительные интервалы для коэффициентов (регрессионный анализ). Анализ остатков. Переобучение в задаче восстановления регрессии. Методы борьбы с переобуче-нием: выбор подмножества признаков; гребневая («ридж») регрессия (регуляризация); метод «лассо».
• Вероятностная постановка задачи обучения с учителем
  Регрессионная функция. Байесов классификатор. Принцип максимума апостериорной вероятности. Метод максимального правдоподобия. Наивный байесов классификатор. Метод ближайших соседей для задачи классификации и задачи восстановления регрессии. Теорема об оценке риска в методе ближайшего соседа
• Статистические методы решения задач классификации
  Дискриминантные и дескриптивные (описательные) методы в задаче классификации. Линейный и квадратичный дискриминантный анализ. Логистическая регрессия
• Нейронные сети
  Нейронная сеть. Универсальная теорема об аппроксимации (без доказательства). Алгоритм обратного распространения ошибки как градиентный метод. Борьба с переобучением с помощью регуляризации. Дропаут. Глубокое обучение. Сверточные слои, слои объединения.
• Деревья решений
  Метод деревьев решений для решения задач машинного обучения. Алгоритм CART. Алгоритм С4.5. Отсечения.
• Ансамбли решающих правил
  Комбинирование слабых решающих правил. Баггинг. Случайные леса. Бустинг. Алгоритм AdaBoost. Алгоритм градиентного бустинга деревьев решений (gradient boosted trees).
• Задача обучения без учителя
  Задача обучения без учителя. Методы средних и медиан для решения задачи кластеризации. Методы решения задач иерархической кластеризации. Алгоритм PageRank. Алгоритм Apriori.
• Метод опорных векторов
  Оптимальная разделяющая гиперплоскость. Сведение метода к задаче квадратичного программирования. Ядра и спрямляющие пространства в методе «машина опорных векторов».
• 10. Элементы теории Вапника-Червоненкиса
  Размерность Вапника–Червоненкиса. Теорема о равномерной сходимости эмпириче-ской ошибки к ожидаемому риску в случае конечной размерности Вапника–Червоненкиса

Элементы контроля

• Устный экзамен
• Домашнее задание
• Устный экзамен
• Домашнее задание

Промежуточная аттестация

• Промежуточная аттестация (4 модуль)
  0.5 * Домашнее задание + 0.5 * Устный экзамен

Список литературы

Рекомендуемая основная литература

• Джеймс Г., Уиттон Д., Хасти Т. - Введение в статистическое обучение с примерами на языке R - Издательство "ДМК Пресс" - 2017 - 456с. - ISBN: 978-5-97060-495-3 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/93580

Рекомендуемая дополнительная литература

• Флах П. - Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных - Издательство "ДМК Пресс" - 2015 - 400с. - ISBN: 978-5-97060-273-7 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/69955