Описание научного проекта группы

Аннотация проекта

The  multimedia data analysis scientific group focuses on the problem of low  efficiency of classification methods in the case of the small sample sizes  (e.g., single sample per class problem) and large number of  classes in a database. This problem is quite acute in processing of data,  which mathematical models contains many parameters (features). Such feature  spaces are typical for contemporary deep hierarchical mathematical models of  multimedia data (images, speech, video, audio and/or texts) and representation  learning methods. Our group implements the fast hybrid reconfigurable  classification method for high dimensional feature spaces based on  approximate nearest neighbor methods proposed earlier by the participants.  More precisely, our method uses the maximal likelihood search in the case of  the medium-sized training samples, and switches to the usage of the  metrisized small world structure, if the database is very large. The  experimental study results of such approach in comparison with the known fast  approximate nearest neighbor algorithms from popular libraries FLANN and  NonMetricSpaceLib will be obtained. Moreover, we explore another way to  improve the classification accuracy and run-time complexity by using the  sequential analysis of the hierarchical representation of multimedia data. We  examine several potential applications of these methods in such practical  tasks as image, speech and text processing. Our group is mainly focused on  the video-based face identification and audiovisual emotions recognition for  large real-life multimedia databases collected in the wild environment with  noise, variations of position, age, gender, etc. In text analysis we propose  an approach to classify the sequence of messages from a social networks with  automatic extraction of the author’s intent by using the modern recurrent  neural network structures. Moreover, we deal with the translation task for  multi-language corpus by using the topic modeling with flexible additive  regularization and compare this approach with the state of the art oPLTM  techniques.

Сроки проведения работы над проектом

Научно-учебная группа «Анализ мультимедийных данных» в течение 2017 года реализует проект № 17-05-0007 «Разработка и апробация эффективных методов классификации для больших баз мультимедийных данных» в рамках Программы «Научный фонд Национального исследовательского университета «Высшая школа экономики» (НИУ ВШЭ)» и в рамках государственной поддержки ведущих университетов Российской Федерации "5-100". 

Цели и задачи

Цель работы группы – повышение вычислительной эффективности методов классификации мультимедийных данных, описываемых пространством признаков высокой размерности. Для достижения этой цели были поставлены следующие задачи:
1. Проведение аналитического обзора современных публикаций, посвященных построению эффективных методов классификации мультимедийных данных на основе технологий глубокого обучения

2. Исследование возможности повышения вычислительной эффективности приближенного поиска ближайшего соседа на основе известных асимптотических распределений мер близости между векторами признаков, извлеченных с помощью глубоких нейронных сетей.

3. Выбор эффективного регуляризатора в BigARTM для поиска перевода в параллельном корпусе и сравнение эффективности с реализацией при помощи oPLTM.

4. Повышение вычислительной эффективности алгоритмов классификации мультимедийных данных для ряда прикладных областей (биометрическая идентификация по видеоизображению лица, анализ эмоционального состояния человека по аудио, видео и текстовым данным), в том числе для методов иерархической классификации на основе теории приближенных множеств.

5. Разработка прототипов компьютерных систем классификации мультимедийных данных и проведение с их помощью экспериментальных исследований точности и вычислительной эффективности разработанных алгоритмов.

Ожидаемые научные результаты исследований

1. Планируется выполнить аналитический обзор литературы по эффективным методам классификации мультимедийных данных на основе технологий глубокого обучения

2. Планируется разработать на основе известных асимптотических распределений мер близости между векторами признаков, извлеченных с помощью глубоких нейронных сетей, гибридного метода приближенного ближайшего соседа, позволяющий в несколько раз ускорить процедуру классификации по сравнению с традиционными методами ближайших соседей за счет интеграции предложенных исполнителями проекта метода максимально правдоподобного направленного перебора и структуры поиска на основе метрического тесного мира.

3. Планируется разработать на основе известных методов многомодального тематического моделирования с регуляризацией новый метод поиска ближайшего по смыслу текста на другом языке.

4. Планируется разработать на основе известных методов глубокого обучения новый метод классификации сообщений в диалоге по интенциям автора, который будет использовать лексику текущего и предыдущих сообщений.

5. Планируется повысить вычислительную эффективность иерархических методов классификации мультимедийных данных на основе построения комитета глубоких нейронных сетей и последовательного анализа надежности решения, полученного каждым членом комитета.

6. Планируется провести экспериментальное сопоставление разработанных методов классификации с существующими аналогами для задач распознавания изображений.