Из чего состоят разговорные боты и чего ждать от многообещающих новинок?

ForbesБизнес

Бот знает: как устроены языковые модели и к чему ведет конкуренция на этом рынке

Татьяна Шаврина

Фото Belga / Reuters

ChatGPT стал самым быстрорастущим потребительским приложением в истории: всего через два месяца после запуска месячное количество активных пользователей бота достигло 100 млн человек. 6 февраля сразу две корпорации объявили о скором запуске собственных аналогов: Google анонсировала экспериментальный сервис разговорного ИИ Bard, а акции китайской Baidu выросли после заявления о релизе разработки под названием ERNIE. Кандидат наук, руководитель научной группы NLP Института искусственного интеллекта AIRI и команды AGI NLP SberDevices Татьяна Шаврина объясняет, из чего состоят разговорные боты, чего ждать от многообещающих новинок и какое влияние они окажут на общество.

Большие языковые модели (LLM, Large Language Models)

Несмотря на взрывную популярность ChatGPT и гонку корпораций, языковые модели — далеко не новое явление. LLM — нейросетевые модели, которые позволяют обобщать, понимать и писать тексты на разных языках. Нейросеть выучивает язык во время обучения, при котором ей «показывают» огромное количество художественной литературы, интернет-форумов, энциклопедий и других источников, хорошо представляющих человеческий язык во всем его многообразии. Такие нейросети находятся внутри продвинутых ИИ-ассистентов, позволяя нам общаться с машиной.

Большими языковые модели называются потому, что, помимо массивного объема прочитанного, сами по себе являются масштабными системами. Профессионалы определяют размер моделей в параметрах — коэффициентах функций внутри модели, подобранных во время обучения нейросети: число параметров нейросети GPT-3 — 175 млрд, но бывают LLM и больше! Как правило, чем больше параметров у нейросети, тем лучше она обобщает навыки и знания. В случае с СhatGPT — это навык понимать человеческие инструкции в режиме диалога и выдавать качественный и интересный ответ.

LLM добились успеха в ряде задач: они отвечают на вопросы, могут обобщить или переписать текст, написать стихотворение и вести диалог. Пожалуй, в 2022 году именно переход самых новых нейросетей в режим диалога с пользователем позволил моделям стать интересными не только для ученых и разработчиков.

Максимально правдоподобное и безопасное моделирование общения на человеческом языке — вызов для исследователей. Среди основных проблем в работе с LLM профессор Стэнфордского университета Кристофер Поттс выделяет сложность обновления базы фактов, на которых обучена модель, и отсутствие ссылок на источники.

А еще у LLM есть «дети» — так называемые дообученные модели (fine-tuned models). На базе общетематических моделей создается копия, которую «натаскивают» на специфический домен или задачу, например, анализ медицинских исследований или поиск ошибок в коде. Процесс такого дообучения нейросетей называют «тюнинг».

Какие модели существуют уже сейчас

ChatGPT — самая популярная демонстрация большой языковой модели, которая стала открытой для рядового пользователя сети через простой интерфейс. Однако такое решение — не единственное. В мире существует ряд других LLM, часть из которых давно выложена в открытый доступ. Их изучают, развивают и применяют для решения своих задач сотни программистов и ученых, а некоторые стартапы строят на их базе собственные продукты:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

От «Кода да Винчи» до «Гарри Поттера»: самые громкие скандалы о плагиате в истории От «Кода да Винчи» до «Гарри Поттера»: самые громкие скандалы о плагиате в истории

Громкие книжные скандалы, связанные с обвинениями в плагиате

Forbes
Роман о Мишеле Строгоффе Роман о Мишеле Строгоффе

Как Жюль Верн написал признание в любви к России, а Россия его не поняла

Дилетант
Отложенный дефицит: чем чреват отказ нанимать джунов Отложенный дефицит: чем чреват отказ нанимать джунов

Почему отказ нанимать джунов — перспектива новой волны нехватки кадров

Forbes
Как выглядел Чебурашка в самой первой книге: ты поразишься, когда узнаешь! Как выглядел Чебурашка в самой первой книге: ты поразишься, когда узнаешь!

В первых книгах Чебурашка выглядел совсем иначе

VOICE
Индивидуалистка из СССР: как Айн Рэнд боролась с коммунизмом и создавала бестселлеры Индивидуалистка из СССР: как Айн Рэнд боролась с коммунизмом и создавала бестселлеры

Как Айн Рэнд, дочь аптекаря из Петербурга, смогла покорить США

Forbes
Солнышко в руках: лучшие рецепты блинов (и не только) на Масленицу Солнышко в руках: лучшие рецепты блинов (и не только) на Масленицу

Рецепты сладких и соленых, простых и сложных блинов

Правила жизни
«Спасибо смерти…» «Спасибо смерти…»

Какой была Эльза Триоле, младшая сестра Лили Брик?

Дилетант
NFT, портрет собаки и береза с мантрами: что покупают молодые коллекционеры NFT, портрет собаки и береза с мантрами: что покупают молодые коллекционеры

Что за работы покупают молодые коллекционеры и зачем

Forbes
Со всех концов света: стало известно, откуда египтяне получали вещества для создания мумий Со всех концов света: стало известно, откуда египтяне получали вещества для создания мумий

Чтобы жрецы могли бальзамировать тела, требовались долгие и опасные путешествия

Вокруг света
Как вести себя на первом свидании, чтобы оно не стало последним: 2 главных правила Как вести себя на первом свидании, чтобы оно не стало последним: 2 главных правила

Секреты, которые помогут снять напряжение во время первой встречи

Psychologies
Ролики в перерыве: как Супербоул стал популярен во всем мире благодаря рекламе Ролики в перерыве: как Супербоул стал популярен во всем мире благодаря рекламе

Как Супербоул мотивирует компании делать яркие рекламные ролики?

Forbes
Фобии Кидман, Йоханссон и других: туалеты, авокадо и сморщенные пальцы - что пугает голливудских звезд Фобии Кидман, Йоханссон и других: туалеты, авокадо и сморщенные пальцы - что пугает голливудских звезд

У наших кумиров есть очень странные фобии

VOICE
«Вы уверены только в своей неуверенности»: что мешает нам двигаться вперед — история клиента психолога «Вы уверены только в своей неуверенности»: что мешает нам двигаться вперед — история клиента психолога

История клиента, который много лет только репетировал жизнь

Psychologies
Почему Земля не круглая и существует ли во Вселенной идеальный шар? Почему Земля не круглая и существует ли во Вселенной идеальный шар?

От нейтронных звезд до шара сверхчистого кремния — самые идеальные сферы в мире

ТехИнсайдер
Все оттенки «Радуги» Все оттенки «Радуги»

Как читать главный роман Томаса Пинчона

Weekend
Гамамелис: Зимнее волшебство Гамамелис: Зимнее волшебство

Гамамелис, он же волшебный и ведьмин орех, — род листопадных кустарников

Наука и жизнь
«Яды: Великолепная история человечества» «Яды: Великолепная история человечества»

Как опасные химические вещества убивают и спасают людей

N+1
Фейковый взрыв, эпопея с фамилиями и загадочные цифры: секреты 5 легендарных комедий Гайдая Фейковый взрыв, эпопея с фамилиями и загадочные цифры: секреты 5 легендарных комедий Гайдая

Ищем пасхалки в фильмах Гайдая, на которые раньше не обращали внимания

Правила жизни
Как соскочить с «эмоционального крючка»? 5 этапов выхода из созависимых отношений Как соскочить с «эмоционального крючка»? 5 этапов выхода из созависимых отношений

Как не свернуть с пути и поэтапно выбраться из деструктивных отношений?

Psychologies
Ямочки на щеках: почему появляются и можно ли их сделать Ямочки на щеках: почему появляются и можно ли их сделать

В чем особенности ямочек на щеках?

РБК
Как диета влияет на психическое здоровье ребенка Как диета влияет на психическое здоровье ребенка

Хорошая, сбалансированная диета сделает психику ребенка более устойчивой

ТехИнсайдер
При каких болезнях помогает коньяк? При каких болезнях помогает коньяк?

Коньяк невероятно полезен, нет никаких сомнений

Maxim
«Я с женой только из-за детей»: 6 лживых фраз изменяющего мужчины — история читательницы «Я с женой только из-за детей»: 6 лживых фраз изменяющего мужчины — история читательницы

Одинаковые отговорки мужчин, которые заводят любовниц

Psychologies
Злачное тесто: краткая история хлеба, который всему голова Злачное тесто: краткая история хлеба, который всему голова

Есть один продукт, который не приедается никогда

Вокруг света
Ученые вырастили рецепторы запаха неандертальцев, чтобы узнать, насколько чутким был их нюх Ученые вырастили рецепторы запаха неандертальцев, чтобы узнать, насколько чутким был их нюх

Могли ли неандертальцы учуять зловоние собственных подмышек?

ТехИнсайдер
Звезды, которые обручились или вышли замуж в День святого Валентина — приносит ли красивая дата счастье? Звезды, которые обручились или вышли замуж в День святого Валентина — приносит ли красивая дата счастье?

Работает ли магия красивой даты? Разбираем на примере звезд

VOICE
Уютное гнездышко походника: история и современность спального мешка Уютное гнездышко походника: история и современность спального мешка

Привычный нам облик спальный мешок приобрел не сразу

Вокруг света
Тебя обманули: эти звезды играли влюбленных в кино, но ненавидели друг друга в жизни Тебя обманули: эти звезды играли влюбленных в кино, но ненавидели друг друга в жизни

Оказывается, эти актеры за кадром терпеть друг друга не могли

VOICE
Скрытый рынок: у женщины с Уолл-стрит появилась идея, как бороться с неравенством Скрытый рынок: у женщины с Уолл-стрит появилась идея, как бороться с неравенством

Как Меллоди Хобсон борется с расовой дискриминацией в корпоративном мире

Forbes
Красные флаги: восемь поводов сменить инвестиционного советника Красные флаги: восемь поводов сменить инвестиционного советника

Как выбрать инвестиционного советника и на что обратить внимание?

Forbes
Открыть в приложении