Исследователи ВШЭ научили компьютер распознавать эмоции в речи

Исследователи ВШЭ научили компьютер распознавать эмоции в речи

8 ноября 

Сотрудники факультета информатики, математики и компьютерных наук Нижегородского филиала ВШЭ создали автоматическую систему, способную определять эмоции по голосу. Их доклад был представлен на международной конференции «Neuroinformatics-2017».

 

Компьютер давно и весьма успешно преобразует речь в текст. Однако эмоциональная составляющая, важная для передачи смысла, остаётся упущенной. Например, на один и тот же вопрос «Всё в порядке?», человек может ответить «Конечно!» с разными интонациями: спокойно, с вызовом, жизнерадостно и пр. Это будут совсем разные реакции.

Анастасия Попова, Александр Рассадин и Александр Пономаренко из ВШЭ обучили нейронную сеть распознавать восемь различных эмоций. Она определяет злость, грусть, спокойствие, нейтральность, счастье, испуг, удивление, отвращение. В 70% случаев компьютер правильно распознает эмоцию.

Исследователи преобразовывали звук в изображения – спектрограммы. Это позволило работать со звуком методами, применяемыми для распознавания изображений. В исследовании использовалась свёрточная нейронная сеть глубокого обучения с архитектурой VGG-16.

Наиболее успешно программа различает нейтральные и спокойные интонации. А вот счастье и удивление распознаются не всегда, отмечают ученые. Счастье часто воспринимается как страх и печаль, а удивление – как отвращение.