20 марта 2026 Лекция сотрудников исследовательского центра «об оптимизации обучения больших языковых моделей».
По инициативе и организационной поддержке ведущего научного сотрудника лаборатории Малышева Д.С. в рамках семинара наставника для студентов группы 25МАГ ИАД (преподаватель Калягин В.А.) проводится лекция сотрудников исследовательского центра.
Тема: об оптимизации обучения больших языковых моделей.
Лектор: Трутнев Алексей (инженер Хуавэй), Сальников Игорь (инженер Хуавэй), Жариков Егор (инженер Хуавэй), Демидовский Александр (ведущий инженер Хуавэй).
Аннотация: Современные большие языковые модели (LLM) содержат миллиарды параметров и требуют значительных вычислительных ресурсов. С одной стороны, для обучения LLM с большим числом параметров необходимо использовать распределенные среды, что приводит к большому количеству коммуникаций. С другой стороны, стандартные методы обучения, основанные на методе обратного распространения ошибки, требуют хранения промежуточных активаций, что значительно увеличивает требования по памяти. Целью данного доклада является обзор существующих направлений науки в области уменьшения числа коммуникаций и количества требуемой памяти для обучения LLM.
Дата: 20 марта, пятница.
Время: 18:00.
Формат: дистанционно, в системе контур толк.
