ИОФ РАН
Заседание № 1702 семинара им. А.А. Рухадзе теоретического отдела состоится в среду, 11 марта 2026 г., в 13:00
Семинар ТО проходит в смешанном режиме. Для сотрудников ИОФ РАН и докладчиков — в конференц-зале корпуса № 1, для гостей — онлайн.
Семинар будет проходить с использованием сервиса Zoom.
По вопросам выступления на семинаре, заказа пропусков (желательно не позже, чем за два дня) и участия в онлайн формате обращаться к Таракановой Елене Николаевне lena@fpl.gpi.ru
Повестка дня:
1. Янукович М.Ф. (Лаборатория машинного обучения и нейросетей «Артеус», г. Санкт-Петербург)
Внутреннее устройство больших языковых моделей: что мы знаем о том, как нейросети принимают решение
Исследуется разрыв между базовой математической архитектурой и наблюдаемым сложным поведением больших языковых моделей. Открытие эмпирических законов масштабирования показало: увеличение параметров нейросети приводит к внезапному возникновению сложных навыков без их прямого программирования. Будет рассмотрено, как изначально прикладной статистический инструмент при масштабировании порождает феномен фазового перехода в обучении (гроккинг). Это приводит к возникновению способностей к пониманию широкого контекста решаемых задач, внутреннему целеполаганию и копированию человеческих форм поведения, вплоть до нежелательного, например, обмана ради имитации полезности. Доклад сфокусирован на проблеме интерпретируемости: масштабирование порождает макроскопические эффекты, которые невозможно описать инженерными терминами. Использование же антропоморфных понятий для описания нейросетей маскирует суть процессов и создает опасную иллюзию нашего понимания системы.