Студенты создали веб-сервис по распознаванию эмоций

Команда студентов НИУ ВШЭ – Нижний Новгород и НГПУ им. К. Минина создала мобильное приложение и веб-сервис по распознаванию эмоций по фотографиям. Это решение может быть полезно в маркетинге, образовании, управлении персоналом – любых сферах, где имеет значение качество межличностной коммуникации.

© iStock

Развитие современных технологий позволяет реализовать задачу распознавания эмоций по фотографиям. Такие технологии сегодня особенно широко используются в маркетинге, с их помощью повышается таргетированность рекламы: установленная конструкция с камерой может менять рекламный ролик в зависимости от настроения, пола и возраста проходящих мимо людей.

Сложно переоценить важность распознавания эмоций и для других сфер, например, для сферы образования – с его помощью можно, в том числе, изучать эмоциональное состояние учеников на занятиях. Возможность распознавания эмоций может быть полезна для обучения специалистов, работающих с людьми, а также позволит повысить уровень эмоционального интеллекта и рефлексии людей в целом.

В результате совместной работы над проектом студент 4 курса образовательной программы «Прикладная математика и информатика» НИУ ВШЭ – Нижний Новгород Владислав Загоскин и студентка 4 курса бакалаврской программы «Психология управления и интернет-коммуникаций» НГПУ им. К. Минина Елена Пестова разработали веб-приложение, в которое можно загрузить фото для распознавания эмоций и получить анализ выявленных типов эмоций – гнев, отвращение, печаль, презрение, радость, страх, удивление.

Кроме того, студенты создали мобильное приложение, представляющее собой удобный пользовательский интерфейс, который позволяет делать фотографии и передавать данные на сервер с помощью протокола http. По сути, это приложение – тренажер, в котором по фотографиям лиц людей можно определить одну из 7 основных эмоций, и в итоге получить общее количество правильных ответов. В приложении есть описание характерных маркеров эмоций. Оно может быть полезно для студентов, обучающихся в сферах, где значима эффективность коммуникации (психологов, педагогов, специалистов по управлению персоналом и др.).

«Это приложение может быть полезным для широкого круга пользователей, которые испытывают трудности с распознаванием эмоций», – уверены авторы проекта.

Елена Шадрина, руководитель проекта, заместитель декана факультета информатики, математики и компьютерных наук

Приятно, когда ИТ-решение находит свое применение в виде полезного сервиса, а выпускная работа студента образовательной программы «Прикладная математика и информатика» – не просто диплом, а междисциплинарное прикладное исследование на стыке математики, информатики и компьютерных наук. Большое спасибо коллегам Андрею Савченко и Егору Чураеву за технические консультации - не зря говорят, что Вышка это одна большая семья, где тебе всегда помогут.

Владислав Загоскин, выпускник бакалаврской программы «Прикладная математика и информатика»

В процессе создания приложения мне очень пригодились курсы нашей программы «Прикладная математика и информатика», особенно, по машинному обучению и нейронным сетям. А еще мой научный Елена Викторовна Шадрина познакомила меня с учеными Лаборатории алгоритмов и технологий анализа сетевых структур НИУ ВШЭ – Нижний Новгород Егором Чураевым и Андреем Савченко, которые занимаются в том числе распознаванием эмоций. Они порекомендовали мне модель, на основе которой можно делать свою собственную. Кроме того, посоветовали подход к обучению модели и то, как лучше использовать уже обученную модель.

Взаимодействие с Мининским университетом началось уже на этапе проработки идей для приложения на основе психологических теорий, возможностей нейронных сетей и машинного обучения.  Важной частью нашего взаимодействия стала разметка dataset, так как качество этой разметки в значительной степени влияет на качество обучения. Мы скачали примерно 500 фотографий с изображением человеческих лиц, и психологи Мининского университета маркировали каждую фотографию в соответствии с определенной эмоцией. Мы совместно подготовили тезисы и доклад о нашем проекте, защитили его на Студенческой конференции НИУ ВШЭ – Нижний Новгород и заняли первое место в нашей секции.

Елена Пестова, студентка 4 курса бакалаврской программы «Психология управления и интернет-коммуникаций» ФГБОУ ВО «НГПУ им. К. Минина» – Нижний Новгород

Мне очень понравилось работать над проектом. Было интересно отбирать фотографии в зависимости от того, какая эмоция изображена, в результате, я сама стала лучше различать оттенки проявляемых эмоций и их выделяемые маркеры.

Я работала непосредственно над теоретической частью нашего приложения по распознаванию эмоций. Исследовать различные теории эмоций приносило мне невероятное удовольствие. В итоге, я довольна полученным результатом – нашей программой, так как благодаря ей, студенты-психологи смогут научиться более точно определять эмоции, что несомненно позволит им лучше помогать людям в целом!