Мы используем файлы cookies для улучшения работы сайта НИУ ВШЭ и большего удобства его использования. Более подробную информацию об использовании файлов cookies можно найти здесь, наши правила обработки персональных данных – здесь. Продолжая пользоваться сайтом, вы подтверждаете, что были проинформированы об использовании файлов cookies сайтом НИУ ВШЭ и согласны с нашими правилами обработки персональных данных. Вы можете отключить файлы cookies в настройках Вашего браузера.

  • A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Семинар 4. Методы оценки согласованности при разметке данных.

Состоялся четвёртый семинар научно-учебной группы «КомпЛинг». Докладчиком выступила Мария Викторовна Худякова, кандидат филологических наук, директор Центра языка и мозга НИУ ВШЭ в Нижнем Новгороде. Темой встречи стали методы оценки согласованности при разметке данных. Докладчик представила основные подходы к расчету inter-rater agreement, позволяющие измерять степень согласия между экспертами при анализе лингвистических данных и психологических тестов.

Основные вопросы, обсуждаемые в ходе семинара:

  • Ключевые различия между межэкспертным согласием и межэкспертной надежностью;
  • Значение оценки согласованности при разметке данных в лингвистике и психологии;
  • Рекомендации по выбору индексов для оценки согласованности при разметке в зависимости от типа данных;
  • Сложности в интерпретации индексов.

Мария Викторовна подробно разобрала некоторые сценарии исследований, где необходимо использование различных методов определения межэкспертной согласованности. Особое внимание было уделено вопросам надежности экспертных оценок и важности выбора подходящего метода расчета согласованности.

Для научно-учебной группы «КомпЛинг» эти инструменты особенно важны, поскольку разметка данных по речи, мимике и жестам играет ключевую роль в исследованиях достоверности информации. Применение методов межэкспертной согласованности позволит обеспечить объективность и воспроизводимость разметки, а также повысить надежность результатов анализа. Семинар дал участникам практические знания, которые помогут при разработке протоколов разметки и проведении экспериментов.

Методы оценки согласованности при разметке данных (PDF, 480 Кб) 


 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!
Сервис предназначен только для отправки сообщений об орфографических и пунктуационных ошибках.