Семинар 4. Методы оценки согласованности при разметке данных.
Состоялся четвёртый семинар научно-учебной группы «КомпЛинг». Докладчиком выступила Мария Викторовна Худякова, кандидат филологических наук, директор Центра языка и мозга НИУ ВШЭ в Нижнем Новгороде. Темой встречи стали методы оценки согласованности при разметке данных. Докладчик представила основные подходы к расчету inter-rater agreement, позволяющие измерять степень согласия между экспертами при анализе лингвистических данных и психологических тестов.
Основные вопросы, обсуждаемые в ходе семинара:
- Ключевые различия между межэкспертным согласием и межэкспертной надежностью;
- Значение оценки согласованности при разметке данных в лингвистике и психологии;
- Рекомендации по выбору индексов для оценки согласованности при разметке в зависимости от типа данных;
- Сложности в интерпретации индексов.
Мария Викторовна подробно разобрала некоторые сценарии исследований, где необходимо использование различных методов определения межэкспертной согласованности. Особое внимание было уделено вопросам надежности экспертных оценок и важности выбора подходящего метода расчета согласованности.
Для научно-учебной группы «КомпЛинг» эти инструменты особенно важны, поскольку разметка данных по речи, мимике и жестам играет ключевую роль в исследованиях достоверности информации. Применение методов межэкспертной согласованности позволит обеспечить объективность и воспроизводимость разметки, а также повысить надежность результатов анализа. Семинар дал участникам практические знания, которые помогут при разработке протоколов разметки и проведении экспериментов.
Методы оценки согласованности при разметке данных (PDF, 480 Кб)
Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!
Сервис предназначен только для отправки сообщений об орфографических и пунктуационных ошибках.