Научно-исследовательский семинар "Технологии искусственного интеллекта"

2026/2027

Учебный год

RUS

Обучение ведется на русском языке

6

Кредиты

Кто читает:

Кафедра прикладной математики и информатики (Нижний Новгород) (Факультет информатики, математики и компьютерных наук (Нижний Новгород))

Статус:

Курс обязательный

Когда читается:

2-й курс, 1, 2 модуль

Преподаватель

Крылов Владимир Владимирович

Программа дисциплины

Аннотация

Программа направлена на изучение современных методов и инструментов анализа систем искусственного интеллекта, основанных на нейронных сетях с архитектурой трансформеров, известных под названием «Механистическая интерпретируемость». Курс включает в себя практику реверс-инжиниринга для изучения и объяснения поведения реальных больших языковых моделей, локализации внутренних концептов в моделях и влияния на их поведение

Цель освоения дисциплины

• Подготовка высококвалифицированных специалистов, способных эффективно использовать методы и инструменты анализа поведения систем искусственного интеллекта на основе нейронных сетей с архитектурой трансформеров для решения задач в различных сферах деятельности. Дать студентам теоретическую базу и практические навыки объяснения поведения LLM с использованием специализированных инструментов исследовательского сообщества (TransformerLens, SAELens, CircuitsVis, Neuronpedia, ACDC и др.).

Планируемые результаты обучения

• Общее понимание методов и целей анализа внутренних механизмов работы глубоких нейронных сетей, основываясь на принципах механистической интерпретируемости .
• Знакомство и овладение базовыми техниками механистической интерпретируемости - Logit Lens, Direct Logit Attribution, Каузальные интервенции, Attribution patching, Пробинг, Steering.
• Умение формулировать исследовательские и практические задачи в терминах механистической интерпретируемости: концептов, цепей, абляционных экспериментов.
• Навыки использования современных инструментов мехинтерп — Transformer Lens, Sparse Autoencoders, Circuit finding, Jacobian Lens.

Содержание учебной дисциплины

• Введение в mechanistic interpretability
• Архитектура трансформера: attention, MLP, LayerNorm, residual stream
• QK/OV-циркуиты, композиция голов внимания, виртуальные головы
• Гипотеза линейного представления и superposition
• Базовые техники: Logit Lens, Tuned Lens, Direct Logit Attribution
• Каузальные интервенции: activation patching, path patching
• Attribution patching и его ускоренные варианты
• Пробинг: linear probes, Contrastive Activation Addition (CAA)
• Steering: addition/ablation/affine steering, function vectors
• Sparse Autoencoders: декомпозиция суперпозиции, фичи и дэшборды
• Circuit finding: induction heads, IOI circuit, universality
• Transcoders и crosscoders, оценка SAE (sparsity, reconstruction loss)

Элементы контроля

• Отчеты
• Экзамен

Промежуточная аттестация

• 2026/2027 2nd module
  0.2 * Отчеты + 0.6 * Экзамен

Список литературы

Рекомендуемая основная литература

• Искусственные нейронные сети : учебник / В. В. Цехановский, Е. Ю. Бутырский, Н. А. Жукова [и др.] ; под ред. В. В. Цехановского. — Москва : КноРус, 2026. — 350 с. — ISBN 978-5-406-15271-3. — URL: https://book.ru/book/959271 (дата обращения: 01.07.2026). — Текст : электронный.
• Путь аналитика. Практическое руководство IT-специалиста. 2-е изд. - Иванова В., Перерва А. - Санкт-Петербург: Питер - 978-5-496-01679-7 - 2015 - русский - https://ibooks.ru/product/340381 - iBOOKS - 340381

Рекомендуемая дополнительная литература

• Платонов, А. В.  Машинное обучение : учебник для вузов / А. В. Платонов. — 2-е изд. — Москва : Издательство Юрайт, 2026. — 78 с. — (Высшее образование). — ISBN 978-5-534-22200-5. — Текст : электронный // Образовательная платформа Юрайт [сайт]. — URL: https://urait.ru/bcode/600893 (дата обращения: 02.07.2026).

Авторы

• Крылов Владимир Владимирович