Одиннадцатый семинар научно-учебной группы "КомпЛинг"

На очередном семинаре научно-учебной группы 19 августа обсуждался финальный протокол разметки мультимодальных данных и его шаблон в ELAN.

Основной темой встречи стала разметка видео и подготовка материалов для анализа. 

На семинаре обсуждались вопросы разметки видео, классификации жестов, мимики и речевых паттернов. Анастасия Комратова представила шаблон разметки мультимодальных данных в ELAN и объяснила процесс работы с имеющимися в распоряжении участников НУГ видео, акцентируя внимание на жестах и речи.

В ходе обсуждения протокола и шаблона участники НУГ пришли к следующим выводам:

• необходимо создать отдельный слой для чтения вопросов участниками эксперимента;

• необходимо сделать классификацию жестов более дробной для создания «выпадающего» списка при разметке; также необходимо доработать список жестов-адаптеров;

• следует вести учет неречевых звуков, таких как кашель и вздохи, без усложнения интерпретации;

• слой «лемма» не обязателен для разметки: при его наличии разметка усложниться, а число ошибок разметчика может вырасти в связи с неоднозначностью интерпретации.  Решено было создать слой «лемма» автомаически после ручной разметки. Это объективирует результат и унифицирует его.

В результате обсуждения удалось доработать шаблон разметки в ELAN и протокол с комментариями для разметчиков.

Пример разметки ELAN (TXT, 62 Кб) 

Пример разметки ELAN (EAF, 215 Кб) 

Шаблон разметки ELAN (ETF, 16 Кб)