Запомни это: как устроена память нейросетей и почему они постоянно что-то забывают
Вы полчаса объясняете нейросети задачу, уточняете детали и наконец получаете ответ, в котором она нарушает самое первое условие. Напоминаете — исправляет, а потом снова упускает что-то важное. Почему система, способная объяснить устройство ядерного реактора, может потерять нить разговора о домашних питомцах и использовать устаревшие факты. Как разработчики и ученые решают эту проблему, рассказывает Дарья Пугачёва, руководитель научной группы «Обобщаемые системы ИИ» Института AIRI.
Нейросеть помнит иначе
При разговоре с другим человеком мы можем рассчитывать, что если собеседник понял объяснение и ответил по существу, то дальше он будет учитывать сказанное. Но для больших языковых моделей способность поддерживать разговор и запоминать новое — разные процессы.
Человек учится постоянно: его картина мира безостановочно дополняется и сохраняется в долговременной памяти. У языковой модели знания формируются и «замораживаются» во время обучения, а после хранятся в весах — числовых параметрах, которые определяют ее работу. Во время разговора с пользователем веса не меняются: модель забывает все, как только диалог заканчивается.
Этот слепок представления ИИ о мире со временем устаревает: модель не знает фактов, которые появились после обучения. Например, без обращения к внешним источникам выпущенная весной 2026 года нейросеть не подскажет, кто выиграл последний Чемпионат мира по футболу.
Обновить знания можно с помощью дообучения, но такой процесс требует много ресурсов. Кроме того, это может ухудшить прежние навыки: явление называют катастрофическим забыванием. Также дообучение может влиять и на безопасность. Поэтому разработчикам приходится проверять точность ответов, сохранение прежних способностей и ограничений модели, а при обнаружении проблем — корректировать обучение и повторять проверки. Поэтому часто запускать обновление слишком затратно.
Почему чат-бот теряет нить разговора
Тем не менее, устаревшие знания не объясняют, почему нейросеть нарушает условие, которое пользователь задал в начале разговора. Для выполнения такой задачи ей не нужно знать последние новости.