Кто читает:: Департамент фундаментальной и прикладной лингвистики

Статус:: Курс обязательный

Когда читается:: 2-й курс, 3, 4 модуль

Преподаватель

Каляева Екатерина Валерьевна

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

Данный курс представляет собой адаптацию общеуниверситетского курса по анализу данных специально для студентов образовательной программы «Фундаментальная и прикладная лингвистика» и направлен на формирование компетенций в области статистики и анализа данных с акцентом на текстовые данные. Знания и компетенции, полученные в результате освоения курса, будут полезны студентам в ходе продолжения обучения в НИУ ВШЭ (в том числе на дисциплинах “Интеллектуальный анализ данных”, “Введение в нейронные сети и машинный перевод”), при подготовке исследовательских проектов, курсовых работ и ВКР с прикладной компонентой, в том числе для проведения статистического анализа и классификации текстовых данных, для проверки статистических гипотез в лингвистических задачах, для построения визуализаций и отчетов.

Цель освоения дисциплины

овладение студентами основами статистики и анализа данных для применения в решении практических лингвистических задач

Планируемые результаты обучения

● Использовать Python в применении к анализу данных.
● Работать с разными типами и структурами данных.
● Корректно открывать табличные данные различных форматов, работать с ними.
● Использовать собственноручно написанные функции для обработки данных, создания новых переменных.
● Корректно использовать основные статистические понятия.
● Вычислять описательные статистики и интерпретировать полученные результаты.
● Вычислять коэффициент корреляции Пирсона и интерпретировать полученные результаты.
● Визуализировать данные с помощью разных видов диаграмм: линейной, рассеяния, столбчатой, тепловой карты, ящика с усами.
● Визуализировать данные с помощью различных диаграмм: тепловой карты, ящика с усами и других.
● Применять параметрические и непараметрические статистические критерии для проверки гипотез.
● Решать задачу классификации с использованием линейной и логистической регрессии.

Содержание учебной дисциплины

Введение в инструменты
Типы данных в статистике
Работа с текстовыми данными
Форматы файлов
Введение в статистику
Описательные статистики: меры центральной тенденции и разброса. Распределения
Корреляционный анализ
Введение в визуализацию данных
Продвинутая визуализация данных
Меры различий для несвязанных выборок
Тестирование гипотез. Меры различий для связанных выборок
Регрессионный анализ. Линейная и логистическая регрессия
Логистическая регрессия
Введение в машинное обучение
Практические примеры решения задач анализа данных (занятия 14 - 15)

Элементы контроля

Тест 1
Тест 2
Домашнее задание
Проект

Промежуточная аттестация

2023/2024 учебный год 4 модуль
0.2 * Домашнее задание + 0.4 * Проект + 0.2 * Тест 1 + 0.2 * Тест 2

Список литературы

Авторы

Климова Маргарита Андреевна

Бакалаврская программа «Фундаментальная и прикладная лингвистика»

Научно-исследовательский семинар "Основы анализа данных"

Преподаватель

Программа дисциплины