Слово как интерфейс
Как общение с моделями тренирует человеческую ясность мысли
Языковые модели первыми среди всех технологий заговорили с нами на обычном языке – без кнопок и команд. Если умеешь четко формулировать задачу словами, то можешь все. У меня двое совсем маленьких детей, и многие их слова и фразы мне непонятны. А вот большие языковые модели с ними проблем не испытывают: малыши вовсю болтают с голосовыми помощниками. Машины – верные друзья моих детей. Но чем дальше, тем больше возникает вопросов. Самый главный – о памяти. В поисках ответов на эти вопросы я и обратился к Антону Фролову, руководителю блока «Развитие генеративного ИИ» Сбера. Мы обсудили, почему у моделей до сих пор нет долгой памяти, чем агент отличается от языковой модели, кто отвечает за его ошибки, есть ли у ИИ совесть и какие профессии переживут эпоху мультиагентных систем.
Антон Фролов
Старший вице-президент, руководитель блока «Развитие генеративного ИИ» в Сбере. Курирует развитие фундаментальных моделей генеративного ИИ, платформ машинного обучения и ИИ-помощника ГигаЧат
Недолгая память
Первым делом мы упираемся в эту тему. Я мечтал об искусственном интеллекте уровня моей жены: она помнит всю мою жизнь, каждый эпизод, с ней всегда можно поговорить и посоветоваться. Но модели словно страдают склерозом.
Антон соглашается: «Память – это, наверное, одна из самых фундаментальных нерешенных проблем в современном ИИ. То, что мы привыкли называть памятью у людей, у моделей – контекстное окно». Сейчас такое окно имеет размер около миллиона токенов (токен не слово, а кусочек слога). Миллиона хватает на несколько диалогов, но не на всю жизнь.
Антон объясняет на пальцах: «Модель держит в голове только то, что вы сказали прямо сейчас. Если дадите задачу по программированию с объемным кодом, она полчаса поработает, а потом забудет начало и начнет задавать уточняющие вопросы. Это сильно ограничивает автономность». Однако прогресс есть. «Через год будет 10 млн токенов, через два придумают новую архитектуру. Я уверен: мы доживем до момента, когда ИИ станет другом, который знает о нас почти все», – добавляет мой собеседник.
Агент и модель
Я не сдаюсь и вспоминаю свой любимый лайфхак. Часто пишу моделям: «Почитай работы Хокинга и представь, что ты Хокинг». И она реально начинает рассуждать как великий физик.
Антон Смеется: