Из чего состоят разговорные боты и чего ждать от многообещающих новинок?

ForbesБизнес

Бот знает: как устроены языковые модели и к чему ведет конкуренция на этом рынке

Татьяна Шаврина

Фото Belga / Reuters

ChatGPT стал самым быстрорастущим потребительским приложением в истории: всего через два месяца после запуска месячное количество активных пользователей бота достигло 100 млн человек. 6 февраля сразу две корпорации объявили о скором запуске собственных аналогов: Google анонсировала экспериментальный сервис разговорного ИИ Bard, а акции китайской Baidu выросли после заявления о релизе разработки под названием ERNIE. Кандидат наук, руководитель научной группы NLP Института искусственного интеллекта AIRI и команды AGI NLP SberDevices Татьяна Шаврина объясняет, из чего состоят разговорные боты, чего ждать от многообещающих новинок и какое влияние они окажут на общество.

Большие языковые модели (LLM, Large Language Models)

Несмотря на взрывную популярность ChatGPT и гонку корпораций, языковые модели — далеко не новое явление. LLM — нейросетевые модели, которые позволяют обобщать, понимать и писать тексты на разных языках. Нейросеть выучивает язык во время обучения, при котором ей «показывают» огромное количество художественной литературы, интернет-форумов, энциклопедий и других источников, хорошо представляющих человеческий язык во всем его многообразии. Такие нейросети находятся внутри продвинутых ИИ-ассистентов, позволяя нам общаться с машиной.

Большими языковые модели называются потому, что, помимо массивного объема прочитанного, сами по себе являются масштабными системами. Профессионалы определяют размер моделей в параметрах — коэффициентах функций внутри модели, подобранных во время обучения нейросети: число параметров нейросети GPT-3 — 175 млрд, но бывают LLM и больше! Как правило, чем больше параметров у нейросети, тем лучше она обобщает навыки и знания. В случае с СhatGPT — это навык понимать человеческие инструкции в режиме диалога и выдавать качественный и интересный ответ.

LLM добились успеха в ряде задач: они отвечают на вопросы, могут обобщить или переписать текст, написать стихотворение и вести диалог. Пожалуй, в 2022 году именно переход самых новых нейросетей в режим диалога с пользователем позволил моделям стать интересными не только для ученых и разработчиков.

Максимально правдоподобное и безопасное моделирование общения на человеческом языке — вызов для исследователей. Среди основных проблем в работе с LLM профессор Стэнфордского университета Кристофер Поттс выделяет сложность обновления базы фактов, на которых обучена модель, и отсутствие ссылок на источники.

А еще у LLM есть «дети» — так называемые дообученные модели (fine-tuned models). На базе общетематических моделей создается копия, которую «натаскивают» на специфический домен или задачу, например, анализ медицинских исследований или поиск ошибок в коде. Процесс такого дообучения нейросетей называют «тюнинг».

Какие модели существуют уже сейчас

ChatGPT — самая популярная демонстрация большой языковой модели, которая стала открытой для рядового пользователя сети через простой интерфейс. Однако такое решение — не единственное. В мире существует ряд других LLM, часть из которых давно выложена в открытый доступ. Их изучают, развивают и применяют для решения своих задач сотни программистов и ученых, а некоторые стартапы строят на их базе собственные продукты:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Научитесь считать деньги: как и зачем вести личный бюджет Научитесь считать деньги: как и зачем вести личный бюджет

Базовые правила для тех, кто хочет навести в деньгах порядок

Forbes
Как изменится жизнь, если бросить пить? Объяснение и советы Как изменится жизнь, если бросить пить? Объяснение и советы

Сэкономить денег и улучшить настроение: что подарит отказ от алкоголя?

ТехИнсайдер
«75% гостей — женщины»: ресторатор Ксения Механик о гастроиндустрии и стереотипах «75% гостей — женщины»: ресторатор Ксения Механик о гастроиндустрии и стереотипах

Ресторатор Ксения Механик — почему гендерные предрассудки мешают всем

Forbes
Как Tesla и другие производители электромобилей используют детский труд Как Tesla и другие производители электромобилей используют детский труд

Кобальт для заводов Tesla добывают с использованием детского труда

Forbes
Я вижу, о чем вы думаете Я вижу, о чем вы думаете

Как агенты ФБР читают людей

kiozk originals
Витамины, которые необходимы женщинам после 50 лет Витамины, которые необходимы женщинам после 50 лет

Чтобы оставаться здоровой в зрелом возрасте, нужно следить за уровнем витаминов

VOICE
«Не давайте отношениям с абьюзером второго шанса»: история одного расставания, рассказанная год спустя «Не давайте отношениям с абьюзером второго шанса»: история одного расставания, рассказанная год спустя

Если мы прощаем абьюзера, то даем второй шанс продолжению насилия

Psychologies
Создан прочный суперсплав, отлично переносящий высокие температуры Создан прочный суперсплав, отлично переносящий высокие температуры

Ученые использовали новую технику 3D-печати для создания нового суперсплава

ТехИнсайдер
Умная стрижка: как авторская технология облегчила девушкам жизнь Умная стрижка: как авторская технология облегчила девушкам жизнь

Что такое «умная стрижка»?

VOICE
«Я обнажила грудь. Почему бы не показать ее всем?»: Настя Ивлеева рассказала о постельных сценах в «Монастыре» «Я обнажила грудь. Почему бы не показать ее всем?»: Настя Ивлеева рассказала о постельных сценах в «Монастыре»

Победив смущение, Настя Ивлеева смогла проявить профессионализм

VOICE
Мир понарошку Мир понарошку

Как метавселенные влияют на развитие автоиндустрии

Автопилот
Огненные горы: посмотрите на 10 самых высоких вулканов в России Огненные горы: посмотрите на 10 самых высоких вулканов в России

Некоторые из этих вулканов России считаются потухшими и спящими

Вокруг света
5 книг об устройстве Вселенной 5 книг об устройстве Вселенной

Книги о достижениях науки, астрофизики и сотворении Вселенной

СНОБ
«Пока время не пришло, а потом будет поздно»: 5 мифов о любви — мнение семейного психотерапевта «Пока время не пришло, а потом будет поздно»: 5 мифов о любви — мнение семейного психотерапевта

Что нужно понять о любви, чтобы стать счастливее?

Psychologies
Было или небула: как устроены туманности Было или небула: как устроены туманности

Учимся отличать Конскую Голову от Столпов Творения

Maxim
Как перестать постоянно думать о плохом: простой способ — 2 случая из практики психолога Как перестать постоянно думать о плохом: простой способ — 2 случая из практики психолога

Психолог делится работающим способом использовать негативные мысли на благо

Psychologies
Строим Школу будущего | Building the School of the Future Строим Школу будущего | Building the School of the Future

Как правильно вложить импакт-инвестиции в образовательный проект

Позитивные изменения
Наш сухой корм из свежего мяса Наш сухой корм из свежего мяса

Компания AlphaPet внедрила научный подход в создание сухого корма

Эксперт
Отстаньте, противные! Отстаньте, противные!

Заеды: как облегчить свое состояние?

Лиза
Дарья Мороз: «Я человек собранный, но чувствительный и ранимый» Дарья Мороз: «Я человек собранный, но чувствительный и ранимый»

Актриса Дарья Мороз – о персонажах и откровенных сценах в кино

VOICE
Донато Карризи: «Дом без воспоминаний». Ключ к затерянной комнате Донато Карризи: «Дом без воспоминаний». Ключ к затерянной комнате

Отрывок из романа о флорентийском психологе-гипнотерапевте Пьетро Джербере

СНОБ
Врать будете? Врать будете?

Автор VOICE неделю говорила правду – и даже почти не устала

VOICE
Зельфира Трегулова: главные выставки и итоги работы в Третьяковской галерее Зельфира Трегулова: главные выставки и итоги работы в Третьяковской галерее

Главные проекты, созданные в Третьяковке под руководством Зельфиры Трегуловой

Forbes
Настоящий Декстер: история бразильского убийцы Педро Родригеса Фильо, который охотился на маньяков Настоящий Декстер: история бразильского убийцы Педро Родригеса Фильо, который охотился на маньяков

Маньяк, ставший прототипом Моргана Декстера из романов писателя Джеффа Линдсея

VOICE
Модификация жизни Модификация жизни

Как сохранить здоровье, не обращаясь к врачу

N+1
Как лоботомия разрушила жизнь сестры Джона Кеннеди и сделала ее позором семьи Как лоботомия разрушила жизнь сестры Джона Кеннеди и сделала ее позором семьи

Почему сестру Джона Кеннеди скрыли от публики?

VOICE
Гадания на Масленицу: как узнать все о любви, деньгах и будущем Гадания на Масленицу: как узнать все о любви, деньгах и будущем

Масленичная неделя – идеальное время для ритуалов и гаданий

VOICE
О чем говорит ChatGPT О чем говорит ChatGPT

ChatGPT не может действовать: он не умеет играть в игру «Покажи и назови»

Эксперт
Как искусственный интеллект ищет в космосе сигналы иных цивилизаций и что ему уже удалось обнаружить Как искусственный интеллект ищет в космосе сигналы иных цивилизаций и что ему уже удалось обнаружить

Ученые научили машинный алгоритм искать следы внеземных цивилизаций

ТехИнсайдер
Парниковый эффект Парниковый эффект

Излишне утеплившись, мы можем себе навредить

Здоровье
Открыть в приложении