Delivered at:: School of Fundamental and Applied Linguistics

Course type:: Compulsory course

When:: 2 year, 3, 4 module

Instructor

Каляева Екатерина Валерьевна

Полная версия программы учебной дисциплины Задать вопрос

Аннотация

Данный курс представляет собой адаптацию общеуниверситетского курса по анализу данных специально для студентов образовательной программы «Фундаментальная и прикладная лингвистика» и направлен на формирование компетенций в области статистики и анализа данных с акцентом на текстовые данные. Знания и компетенции, полученные в результате освоения курса, будут полезны студентам в ходе продолжения обучения в НИУ ВШЭ (в том числе на дисциплинах “Интеллектуальный анализ данных”, “Введение в нейронные сети и машинный перевод”), при подготовке исследовательских проектов, курсовых работ и ВКР с прикладной компонентой, в том числе для проведения статистического анализа и классификации текстовых данных, для проверки статистических гипотез в лингвистических задачах, для построения визуализаций и отчетов.

Цель освоения дисциплины

овладение студентами основами статистики и анализа данных для применения в решении практических лингвистических задач

Планируемые результаты обучения

● Использовать Python в применении к анализу данных.
● Работать с разными типами и структурами данных.
● Корректно открывать табличные данные различных форматов, работать с ними.
● Использовать собственноручно написанные функции для обработки данных, создания новых переменных.
● Корректно использовать основные статистические понятия.
● Вычислять описательные статистики и интерпретировать полученные результаты.
● Вычислять коэффициент корреляции Пирсона и интерпретировать полученные результаты.
● Визуализировать данные с помощью разных видов диаграмм: линейной, рассеяния, столбчатой, тепловой карты, ящика с усами.
● Визуализировать данные с помощью различных диаграмм: тепловой карты, ящика с усами и других.
● Применять параметрические и непараметрические статистические критерии для проверки гипотез.
● Решать задачу классификации с использованием линейной и логистической регрессии.

Содержание учебной дисциплины

Введение в инструменты
Форматы файлов
Типы данных в статистике
Работа с текстовыми данными
Введение в статистику
Описательные статистики: меры центральной тенденции и разброса. Распределения
Введение в визуализацию данных
Продвинутая визуализация данных
Меры различий для несвязанных выборок
Тестирование гипотез. Меры различий для связанных выборок
Корреляционный анализ
Введение в машинное обучение
Регрессионный анализ. Линейная и логистическая регрессия
Практические примеры решения задач анализа данных (занятия 14 и 15)

Элементы контроля

Тест 1
Тест 2
Домашнее задание
Проект

Промежуточная аттестация

2024/2025 4th module
0.2 * Домашнее задание + 0.4 * Проект + 0.2 * Тест 1 + 0.2 * Тест 2

Список литературы

Авторы

Климова Маргарита Андреевна

Bachelor’s Programme 'Fundamental and Applied Linguistics'

Research Seminar "Fundamentals of Data Analysis"

Instructor

Программа дисциплины