Из чего состоят разговорные боты и чего ждать от многообещающих новинок?

ForbesБизнес

Бот знает: как устроены языковые модели и к чему ведет конкуренция на этом рынке

Татьяна Шаврина

Фото Belga / Reuters

ChatGPT стал самым быстрорастущим потребительским приложением в истории: всего через два месяца после запуска месячное количество активных пользователей бота достигло 100 млн человек. 6 февраля сразу две корпорации объявили о скором запуске собственных аналогов: Google анонсировала экспериментальный сервис разговорного ИИ Bard, а акции китайской Baidu выросли после заявления о релизе разработки под названием ERNIE. Кандидат наук, руководитель научной группы NLP Института искусственного интеллекта AIRI и команды AGI NLP SberDevices Татьяна Шаврина объясняет, из чего состоят разговорные боты, чего ждать от многообещающих новинок и какое влияние они окажут на общество.

Большие языковые модели (LLM, Large Language Models)

Несмотря на взрывную популярность ChatGPT и гонку корпораций, языковые модели — далеко не новое явление. LLM — нейросетевые модели, которые позволяют обобщать, понимать и писать тексты на разных языках. Нейросеть выучивает язык во время обучения, при котором ей «показывают» огромное количество художественной литературы, интернет-форумов, энциклопедий и других источников, хорошо представляющих человеческий язык во всем его многообразии. Такие нейросети находятся внутри продвинутых ИИ-ассистентов, позволяя нам общаться с машиной.

Большими языковые модели называются потому, что, помимо массивного объема прочитанного, сами по себе являются масштабными системами. Профессионалы определяют размер моделей в параметрах — коэффициентах функций внутри модели, подобранных во время обучения нейросети: число параметров нейросети GPT-3 — 175 млрд, но бывают LLM и больше! Как правило, чем больше параметров у нейросети, тем лучше она обобщает навыки и знания. В случае с СhatGPT — это навык понимать человеческие инструкции в режиме диалога и выдавать качественный и интересный ответ.

LLM добились успеха в ряде задач: они отвечают на вопросы, могут обобщить или переписать текст, написать стихотворение и вести диалог. Пожалуй, в 2022 году именно переход самых новых нейросетей в режим диалога с пользователем позволил моделям стать интересными не только для ученых и разработчиков.

Максимально правдоподобное и безопасное моделирование общения на человеческом языке — вызов для исследователей. Среди основных проблем в работе с LLM профессор Стэнфордского университета Кристофер Поттс выделяет сложность обновления базы фактов, на которых обучена модель, и отсутствие ссылок на источники.

А еще у LLM есть «дети» — так называемые дообученные модели (fine-tuned models). На базе общетематических моделей создается копия, которую «натаскивают» на специфический домен или задачу, например, анализ медицинских исследований или поиск ошибок в коде. Процесс такого дообучения нейросетей называют «тюнинг».

Какие модели существуют уже сейчас

ChatGPT — самая популярная демонстрация большой языковой модели, которая стала открытой для рядового пользователя сети через простой интерфейс. Однако такое решение — не единственное. В мире существует ряд других LLM, часть из которых давно выложена в открытый доступ. Их изучают, развивают и применяют для решения своих задач сотни программистов и ученых, а некоторые стартапы строят на их базе собственные продукты:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Гиря из деревни: как уралец развивает спорт и культуру на малой родине Гиря из деревни: как уралец развивает спорт и культуру на малой родине

Зачем Артем Артемьев бесплатно поставляет продукцию Iron King деревням и школам

Forbes
Урановый аэрогель как идеальное топливо для космических ядерных двигателей: новое решение старой проблемы Урановый аэрогель как идеальное топливо для космических ядерных двигателей: новое решение старой проблемы

Новых идеи двигателей для перемещения по космосу возникает все больше

TechInsider
3 совета, которые сделают любого человека в любом возрасте в разы богаче 3 совета, которые сделают любого человека в любом возрасте в разы богаче

Как можно достичь финансового благополучия, независимо от своей зарплаты

Inc.
Неудобный академик: в театре «Практика» биографию Сахарова превратили в оперу Неудобный академик: в театре «Практика» биографию Сахарова превратили в оперу

Спектакль «Аскет», посвященный академику и правозащитнику Андрею Сахарову

Forbes
«Сделаю каре после расставания»: о чем может рассказать прическа «Сделаю каре после расставания»: о чем может рассказать прическа

То, как часто человек меняет прическу и цвет волос, способно сказать о многом

Psychologies
Кто такие индейцы майя и почему их цивилизация исчезла с лица Земли? Кто такие индейцы майя и почему их цивилизация исчезла с лица Земли?

Почему исчезла целая цивилизация, и чем еще известны майя?

TechInsider
Нехватка женщин и молодежь-чайлдфри: как Китай перестал быть самой населенной страной Нехватка женщин и молодежь-чайлдфри: как Китай перестал быть самой населенной страной

Почему население в Китае стареет и как к этому относятся китайские власти

Forbes
«Универсальная линейка»: подход к оценке социального воздействия глобальной сети импакт-инвесторов | Universal milestone: the global impact investing network’s approach to assessing social impact «Универсальная линейка»: подход к оценке социального воздействия глобальной сети импакт-инвесторов | Universal milestone: the global impact investing network’s approach to assessing social impact

Методика оценки социально-экономического воздействия некоммерческих проектов

Позитивные изменения
«Хвалите компанию много и выучите всё, что о ней нашли»: как выдержать первую встречу с рекрутером «Хвалите компанию много и выучите всё, что о ней нашли»: как выдержать первую встречу с рекрутером

Об опыте прохождения первого собеседования в ИТ

VC.RU
Куркума Куркума

Специя с резким древесным вкусом до сих пор остаётся популярной добавкой к пище

Здоровье
Фруктоза может быть ключом к болезни Альцгеймера Фруктоза может быть ключом к болезни Альцгеймера

У исследователей есть новая гипотеза о движущей силе болезни Альцгеймера

TechInsider
Что такое грог и как его сделать в домашних условиях Что такое грог и как его сделать в домашних условиях

Для тебя грог звучит романтически, а для моряков XVIII века он стал трагедией!

Maxim
Нашей лепки Нашей лепки

Пельмени – визитная карточка русской кухни

Лиза
Расизм эмоционально травмирует людей. Вот что нужно знать Расизм эмоционально травмирует людей. Вот что нужно знать

Почему у расизма есть серьезные последствия

TechInsider
Коллективная западня Коллективная западня

Почему мы верим серьезным людям с экрана

Weekend
Любимые парфюмы из 90-х — а ты помнишь эти легендарные ароматы? Любимые парфюмы из 90-х — а ты помнишь эти легендарные ароматы?

Куда ты переместишься во времени, едва вдохнув знакомый аромат?

VOICE
Поножовщина в 5 классе: семейный психолог о трагедии в Химках Поножовщина в 5 классе: семейный психолог о трагедии в Химках

Почему пятиклассница напала на бывшую подружку с кухонным ножом? Мнение эксперта

Psychologies
Хороший, плохой, святой Хороший, плохой, святой

Агунг – центр вселенной и обиталище богов в Индонезии

Вокруг света
Инновации, инвестиции и русское подданство: как шведы и англичане боролись за российскую нефть Инновации, инвестиции и русское подданство: как шведы и англичане боролись за российскую нефть

«Правила жизни» решили вспомнить, что происходило на заре нефтедобычи в России

Правила жизни
Тушь-плевательница и бритва вместо скальпеля: как в СССР возникла индустрия красоты Тушь-плевательница и бритва вместо скальпеля: как в СССР возникла индустрия красоты

Существует стереотип, что советским женщинам не было дела до красоты. Это не так

Вокруг света
Испытываете сожаление? Вот что поможет извлечь из него пользу Испытываете сожаление? Вот что поможет извлечь из него пользу

Сожалея о своих ошибках, очень важно суметь извлечь из них уроки

Psychologies
«Я же предупреждал вас, чертовы дураки» «Я же предупреждал вас, чертовы дураки»

Как Герберт Уэллс предсказал обе мировые войны, но его никто не слушал

Weekend
«Нолли»: сериал о культовой британской актрисе с Хеленой Бонэм Картер «Нолли»: сериал о культовой британской актрисе с Хеленой Бонэм Картер

Каким получился сериал «Нолли» и почему фигура Ноэль Гордон важна для британцев

Forbes
Кто такие викинги и почему они мечтали попасть в Вальхаллу? Кто такие викинги и почему они мечтали попасть в Вальхаллу?

Кто такие викинги, как они жили и зачем им в Вальхаллу?

TechInsider
История символов знаков зодиака История символов знаков зодиака

Неочевидные смыслы и зашифрованные послания знаков зодиака

Лиза
Алло, алло! История создания и эволюции первого телефона Алло, алло! История создания и эволюции первого телефона

Телефонная связь со времен «голубиной почты» проделала долгий и необычный путь

Цифровой океан
Живые мертвецы: может ли человек на самом деле заразиться зомбирующим грибком, как в сериале The Last of Us Живые мертвецы: может ли человек на самом деле заразиться зомбирующим грибком, как в сериале The Last of Us

Может ли паразитический грибок стать угрозой человечеству?

TechInsider
Как воспитывать ребенка, чтобы он не захотел уйти из дома: 4 совета Как воспитывать ребенка, чтобы он не захотел уйти из дома: 4 совета

Что, помимо слов и ссор, подталкивает ребенка к уходу из дома?

Psychologies
«Критикует и высмеивает»: на какие манипуляции идет абьюзер, чтобы подчинить женщину «Критикует и высмеивает»: на какие манипуляции идет абьюзер, чтобы подчинить женщину

«Вторая жена» Луизы Мэй: на какие манипуляции идет абьюзер, чтобы подчинять себе

Forbes
LPG LPG

LPG-массаж – процедура уникальная и простая, но и здесь есть свои «против»

Здоровье
Открыть в приложении