«Сегодня сделать большую языковую модель — это гигантский труд»
С 22 по 24 ноября проходит международная онлайн-конференция в сфере технологий искусственного интеллекта AI Journey 2023. В ее работе приняли участие эксперты НИУ ВШЭ. В фокусе обсуждения — языковые модели и методы, которые применяются сегодня для обучения искусственного интеллекта.
Научный сотрудник Международной лаборатории интеллектуальных систем и структурного анализа факультета компьютерных наук НИУ ВШЭ Елизавета Гончарова выступила с докладом «Языковые модели. Что можно выучить, генерируя текст?». Она рассказала об истории развития процесса обработки естественного языка и больших языковых моделей как виртуальных ассистентов. По ее словам, начало этому направлению было положено еще в середине прошлого столетия, но применяемые тогда подходы главным образом были основаны на правилах, связанных с формальной грамматикой и регулярными выражениями. «Однако впоследствии нейросетевые подходы по обработке естественного языка и трансформерные модели взяли верх, и все большие и наиболее успешные примеры работ моделей по обработке естественного языка теперь связаны именно с архитектурой трансформеров», — отметила исследовательница.
Елизавета Гончарова
Елизавета Гончарова считает, что большие языковые модели очень мощные, поэтому, будучи предобученными на простой задаче языкового моделирования, они способны решать гораздо более сложные прикладные задачи даже без дальнейшего обучения. «Если заглянуть внутрь модели, то мы увидим, что каждая часть модели отвечает за кодирование и своей информации, и той информации, на которую мы посягаем как люди: лингвистической структуры текста, фактологии, понятий времени и пространства и даже визуальных концептов, в целом закодированных внутри модели, которую мы рассматриваем, — объяснила она. — Добавление на дообучение модели данных других модальностей позволяет лучше улавливать понятия, связанные с этими модальностями, как в случае цветов, так и в случае форм. Это намекает нам на то, что текстов недостаточно, чтобы модель получила все знания о мире. Возможно, расширение модальности позволит нам открыть новые формы моделей и перейти к более сложным и более умным моделям, которые мы будем использовать в будущем».
Об алгоритмах, которые применяются для создания языковых моделей, используемых искусственным интеллектом, рассказал Евгений Соколов, руководитель департамента больших данных и информационного поиска, доцент факультета компьютерных наук, научный руководитель Центра непрерывного образования НИУ ВШЭ. Тема его доклада — «Tехнологии и алгоритмы внутри больших языковых моделей, или Что сегодня понимают под ИИ?». Евгений Соколов отметил, что сегодня уже много информации об успехах ИИ, генеративных моделей, больших языковых моделей. Он предложил разобраться, как они работают, что находится внутри, какие алгоритмы делают возможными все эти результаты и за счет чего происходит рост качества в методах ИИ.
Евгений Соколов
«Сегодня сделать большую языковую модель — это гигантский труд. Да, математика, которая лежит в основе, очень простая: производные, градиенты, градиентный спуск. А дальше начинается много интересного, нужно придумать методы для извлечения информации из данных, — говорит Евгений Соколов. — Сейчас есть трансформеры, но, кто знает, может, завтра придумают что-то новое? Очень важны сегодня обучающие данные. Классическая парадигма — это когда мы берем обучающие данные и подкручиваем параметры какой-то модели, какого-то алгоритма, чтобы получилось получше. Но сейчас этого мало, недостаточно. Нам нужно как-то внедрить требования качества в эту модель. Для этого мы берем асессоров, собираем большую выборку, строим отдельную оценивающую модель, что требует тоже очень много времени, и на основе этого докручиваем параметры нашей большой языковой модели. Получается сложная схема, какой мы видим ее сегодня. И это то, как сейчас обучаются большие языковые модели».
Эксперт отметил, что в этой работе главную роль играет не решение задачи, чтобы модель как-то «догадалась», что разработчики в нее заложили какие-то глубокие понимания — например, понимание того, как устроен язык. В этой работе важны два момента — собрать качественные данные и взять модель побольше. По его мнению, последние годы исследований показали, что основной рост качества языковых моделей достигается за счет определения большего количества параметров, по которым в дальнейшем будет вестись разработка большой языковой модели.
Свои доклады на конференции также представили и другие исследователи из Вышки. Так, младший научный сотрудник Института искусственного интеллекта и цифровых наук Айбек Аланов выступил с докладом «Редактирование изображений с помощью диффузионных моделей». Сотрудник Института искусственного интеллекта и цифровых наук и Научно-учебной лаборатории методов анализа больших данных НИУ ВШЭ Виталий Поздняков представил доклад на тему «Генерация стрессовых данных для проверки устойчивости моделей». Доцент факультета компьютерных наук, сотрудник Международной лаборатории интеллектуальных систем и структурного анализа НИУ ВШЭ Дмитрий Ильвовский сделал сообщение на тему «Интерпретируемые подходы к дискурсивным, логическим и аргументативным структурам в тексте». А профессор НИУ ВШЭ в Нижнем Новгороде Андрей Савченко представил исследование «Эффективные методы распознавания выражений лиц на видео».
В форсайт-сессии «ИИ для человека будущего» выступил Александр Чулок, директор Центра научно-технологического прогнозирования ИСИЭЗ НИУ ВШЭ.