Из чего состоят разговорные боты и чего ждать от многообещающих новинок?

ForbesБизнес

Бот знает: как устроены языковые модели и к чему ведет конкуренция на этом рынке

Татьяна Шаврина

Фото Belga / Reuters

ChatGPT стал самым быстрорастущим потребительским приложением в истории: всего через два месяца после запуска месячное количество активных пользователей бота достигло 100 млн человек. 6 февраля сразу две корпорации объявили о скором запуске собственных аналогов: Google анонсировала экспериментальный сервис разговорного ИИ Bard, а акции китайской Baidu выросли после заявления о релизе разработки под названием ERNIE. Кандидат наук, руководитель научной группы NLP Института искусственного интеллекта AIRI и команды AGI NLP SberDevices Татьяна Шаврина объясняет, из чего состоят разговорные боты, чего ждать от многообещающих новинок и какое влияние они окажут на общество.

Большие языковые модели (LLM, Large Language Models)

Несмотря на взрывную популярность ChatGPT и гонку корпораций, языковые модели — далеко не новое явление. LLM — нейросетевые модели, которые позволяют обобщать, понимать и писать тексты на разных языках. Нейросеть выучивает язык во время обучения, при котором ей «показывают» огромное количество художественной литературы, интернет-форумов, энциклопедий и других источников, хорошо представляющих человеческий язык во всем его многообразии. Такие нейросети находятся внутри продвинутых ИИ-ассистентов, позволяя нам общаться с машиной.

Большими языковые модели называются потому, что, помимо массивного объема прочитанного, сами по себе являются масштабными системами. Профессионалы определяют размер моделей в параметрах — коэффициентах функций внутри модели, подобранных во время обучения нейросети: число параметров нейросети GPT-3 — 175 млрд, но бывают LLM и больше! Как правило, чем больше параметров у нейросети, тем лучше она обобщает навыки и знания. В случае с СhatGPT — это навык понимать человеческие инструкции в режиме диалога и выдавать качественный и интересный ответ.

LLM добились успеха в ряде задач: они отвечают на вопросы, могут обобщить или переписать текст, написать стихотворение и вести диалог. Пожалуй, в 2022 году именно переход самых новых нейросетей в режим диалога с пользователем позволил моделям стать интересными не только для ученых и разработчиков.

Максимально правдоподобное и безопасное моделирование общения на человеческом языке — вызов для исследователей. Среди основных проблем в работе с LLM профессор Стэнфордского университета Кристофер Поттс выделяет сложность обновления базы фактов, на которых обучена модель, и отсутствие ссылок на источники.

А еще у LLM есть «дети» — так называемые дообученные модели (fine-tuned models). На базе общетематических моделей создается копия, которую «натаскивают» на специфический домен или задачу, например, анализ медицинских исследований или поиск ошибок в коде. Процесс такого дообучения нейросетей называют «тюнинг».

Какие модели существуют уже сейчас

ChatGPT — самая популярная демонстрация большой языковой модели, которая стала открытой для рядового пользователя сети через простой интерфейс. Однако такое решение — не единственное. В мире существует ряд других LLM, часть из которых давно выложена в открытый доступ. Их изучают, развивают и применяют для решения своих задач сотни программистов и ученых, а некоторые стартапы строят на их базе собственные продукты:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Тянем-потянем: как франчайзеры помогают партнерам в трудные времена Тянем-потянем: как франчайзеры помогают партнерам в трудные времена

Большинство из франчайзеров помогут партнеру с антикризисным управлением

Forbes
Топ-5 упражнений на выносливость Топ-5 упражнений на выносливость

Эти упражнения стоит освоить каждому!

Лиза
К гадалке не ходи: за последние четыре года продажи карт таро выросли в семь раз К гадалке не ходи: за последние четыре года продажи карт таро выросли в семь раз

Как и почему растет «гадательный» сегмент в тиражах издательств?

Forbes
«Скинамаринк»: как дешевый хоррор о детских страхах покорил интернет «Скинамаринк»: как дешевый хоррор о детских страхах покорил интернет

«Скинамаринк» — почему мы все так боимся темноты?

Forbes
Открывая космос Открывая космос

Путеводитель женщины-астронавта по миру миссий, чудес и перемен в космосе

kiozk originals
«Я же предупреждал вас, чертовы дураки» «Я же предупреждал вас, чертовы дураки»

Как Герберт Уэллс предсказал обе мировые войны, но его никто не слушал

Weekend
Спасительница Линкольна: как Кейт Уорн стала первой женщиной-детективом в США Спасительница Линкольна: как Кейт Уорн стала первой женщиной-детективом в США

Кейт Уорн — женская версия Шерлока Холмса, существовавшая на самом деле

Forbes
Какие звуки вызывают чувство тревоги и как от них можно защититься? Какие звуки вызывают чувство тревоги и как от них можно защититься?

Почему определенные шумы вселяют в нас чувство тревоги?

Psychologies
Светлана Ходченкова Светлана Ходченкова

За девять с половиной секунд из отчаявшейся домохозяйки в БДСМ-госпожу?

Собака.ru
Насколько устарело наше будущее? | How Obsolete is Our Future? Насколько устарело наше будущее? | How Obsolete is Our Future?

Гипотезы об изменениях приоритетов муниципального управления

Позитивные изменения
Как стать другом своему ребенку Как стать другом своему ребенку

Как стать для своего сына или дочери настоящим другом?

СНОБ
Создан прочный суперсплав, отлично переносящий высокие температуры Создан прочный суперсплав, отлично переносящий высокие температуры

Ученые использовали новую технику 3D-печати для создания нового суперсплава

ТехИнсайдер
Магия и выжженные пустоши: cамые интересные книги жанра постапокалипсис-фэнтези Магия и выжженные пустоши: cамые интересные книги жанра постапокалипсис-фэнтези

Что будет, если в постапокалипсис добавить элементы фэнтези?

Maxim
Сколько пользы я приношу сейчас миру? И расту ли я сам? — Два критерия вашего импакта в карьере | How am i improving the world right now? am i improving myself? — The two criteria of impact in your career Сколько пользы я приношу сейчас миру? И расту ли я сам? — Два критерия вашего импакта в карьере | How am i improving the world right now? am i improving myself? — The two criteria of impact in your career

Импакт — один из трендов карьеры 2022 года

Позитивные изменения

Как изменились герои сериала "Бедная Настя"

VOICE
Ученый предложил простое научное объяснение случаям встречи человека и йети Ученый предложил простое научное объяснение случаям встречи человека и йети

Кого люди видели в темном лесу: йети или просто медведя?

ТехИнсайдер
Уютное гнездышко походника: история и современность спального мешка Уютное гнездышко походника: история и современность спального мешка

Привычный нам облик спальный мешок приобрел не сразу

Вокруг света
Школа будущего — школа про жизнь и среда возможностей | The School of the Future is the School of Life and an Environment of Opportunities Школа будущего — школа про жизнь и среда возможностей | The School of the Future is the School of Life and an Environment of Opportunities

Нейропсихолог Анна Высоцкая — какой должна быть школа будущего

Позитивные изменения
Почему некоторые женщины носят хиджаб? Простое объяснение Почему некоторые женщины носят хиджаб? Простое объяснение

Как связаны ислам и хиджаб

ТехИнсайдер
Volkswagen Touareg 2024 года будет роскошнее, чем когда-либо Volkswagen Touareg 2024 года будет роскошнее, чем когда-либо

Флагманский внедорожник Volkswagen находится на пути обновления дизайна

4x4 Club
От кукольного домика к уборке дома: как художницы переосмысляли домашний труд От кукольного домика к уборке дома: как художницы переосмысляли домашний труд

Художницы, которые в своих произведениях обращались к теме невидимого труда

Forbes
«Метазоа: Зарождение разума в животном мире» «Метазоа: Зарождение разума в животном мире»

Что морские создания могут рассказать об эволюции человека

N+1
Как узнать, где находится ваш ребенок: простой способ от Google Как узнать, где находится ваш ребенок: простой способ от Google

Собственные средства родительского контроля есть и у самой Google

CHIP
Как перестать постоянно думать о плохом: простой способ — 2 случая из практики психолога Как перестать постоянно думать о плохом: простой способ — 2 случая из практики психолога

Психолог делится работающим способом использовать негативные мысли на благо

Psychologies
Топ-10 приемов, которые за пару дней улучшили ментальное здоровье людей (реальные истории!) Топ-10 приемов, которые за пару дней улучшили ментальное здоровье людей (реальные истории!)

Что делать, если ваше ментальное состояние дало сбой?

Psychologies
Почему Земля не круглая и существует ли во Вселенной идеальный шар? Почему Земля не круглая и существует ли во Вселенной идеальный шар?

От нейтронных звезд до шара сверхчистого кремния — самые идеальные сферы в мире

ТехИнсайдер
Биохимия любви: как гормоны управляют нашими чувствами Биохимия любви: как гормоны управляют нашими чувствами

Биохимические процессы, которые вызывают каскад эмоций, именуемый любовью

Правила жизни
Вам письмо: как компании увольняют сотрудников по электронной почте Вам письмо: как компании увольняют сотрудников по электронной почте

Добро пожаловать в эпоху цифровых уведомлений об увольнении

Forbes
Спокойствие, только спокойствие! Спокойствие, только спокойствие!

Можно ли самостоятельно балансировать душевные и телесные настройки?

Psychologies
Эта специя сделает из вас гения (или, как минимум, убережет от слабоумия) Эта специя сделает из вас гения (или, как минимум, убережет от слабоумия)

Исследование подтвердило полезные свойства популярной добавки к пище

Вокруг света
Открыть в приложении