Из чего состоят разговорные боты и чего ждать от многообещающих новинок?

ForbesБизнес

Бот знает: как устроены языковые модели и к чему ведет конкуренция на этом рынке

Татьяна Шаврина

Фото Belga / Reuters

ChatGPT стал самым быстрорастущим потребительским приложением в истории: всего через два месяца после запуска месячное количество активных пользователей бота достигло 100 млн человек. 6 февраля сразу две корпорации объявили о скором запуске собственных аналогов: Google анонсировала экспериментальный сервис разговорного ИИ Bard, а акции китайской Baidu выросли после заявления о релизе разработки под названием ERNIE. Кандидат наук, руководитель научной группы NLP Института искусственного интеллекта AIRI и команды AGI NLP SberDevices Татьяна Шаврина объясняет, из чего состоят разговорные боты, чего ждать от многообещающих новинок и какое влияние они окажут на общество.

Большие языковые модели (LLM, Large Language Models)

Несмотря на взрывную популярность ChatGPT и гонку корпораций, языковые модели — далеко не новое явление. LLM — нейросетевые модели, которые позволяют обобщать, понимать и писать тексты на разных языках. Нейросеть выучивает язык во время обучения, при котором ей «показывают» огромное количество художественной литературы, интернет-форумов, энциклопедий и других источников, хорошо представляющих человеческий язык во всем его многообразии. Такие нейросети находятся внутри продвинутых ИИ-ассистентов, позволяя нам общаться с машиной.

Большими языковые модели называются потому, что, помимо массивного объема прочитанного, сами по себе являются масштабными системами. Профессионалы определяют размер моделей в параметрах — коэффициентах функций внутри модели, подобранных во время обучения нейросети: число параметров нейросети GPT-3 — 175 млрд, но бывают LLM и больше! Как правило, чем больше параметров у нейросети, тем лучше она обобщает навыки и знания. В случае с СhatGPT — это навык понимать человеческие инструкции в режиме диалога и выдавать качественный и интересный ответ.

LLM добились успеха в ряде задач: они отвечают на вопросы, могут обобщить или переписать текст, написать стихотворение и вести диалог. Пожалуй, в 2022 году именно переход самых новых нейросетей в режим диалога с пользователем позволил моделям стать интересными не только для ученых и разработчиков.

Максимально правдоподобное и безопасное моделирование общения на человеческом языке — вызов для исследователей. Среди основных проблем в работе с LLM профессор Стэнфордского университета Кристофер Поттс выделяет сложность обновления базы фактов, на которых обучена модель, и отсутствие ссылок на источники.

А еще у LLM есть «дети» — так называемые дообученные модели (fine-tuned models). На базе общетематических моделей создается копия, которую «натаскивают» на специфический домен или задачу, например, анализ медицинских исследований или поиск ошибок в коде. Процесс такого дообучения нейросетей называют «тюнинг».

Какие модели существуют уже сейчас

ChatGPT — самая популярная демонстрация большой языковой модели, которая стала открытой для рядового пользователя сети через простой интерфейс. Однако такое решение — не единственное. В мире существует ряд других LLM, часть из которых давно выложена в открытый доступ. Их изучают, развивают и применяют для решения своих задач сотни программистов и ученых, а некоторые стартапы строят на их базе собственные продукты:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Женщины выбирают вокал: как гендер влияет на музыкальные предпочтения Женщины выбирают вокал: как гендер влияет на музыкальные предпочтения

Влияет ли пол на музыкальные предпочтения?

Forbes
Такие осетинские пироги Такие осетинские пироги

Как готовят настоящий осетинский пирог?

СНОБ
Четыре скрытых сценария: почему мы так легко теряем с трудом заработанные деньги Четыре скрытых сценария: почему мы так легко теряем с трудом заработанные деньги

Какие сценарии чаще всего приводят к денежным потерям?

Forbes
Как быстро убрать живот и привести себя в форму Как быстро убрать живот и привести себя в форму

Что делать, если покрасоваться подтянутой фигурой хочется уже сейчас?

ТехИнсайдер
Я вижу, о чем вы думаете Я вижу, о чем вы думаете

Как агенты ФБР читают людей

kiozk originals
Как делали мумии. Ученые реконструировали методы древнеегипетской похоронной мастерской Как делали мумии. Ученые реконструировали методы древнеегипетской похоронной мастерской

Как была устроена мастерская бальзамировщика в Древнем Египте

ТехИнсайдер
Новые Земли: есть ли во Вселенной планеты, на которые может переселиться человечество Новые Земли: есть ли во Вселенной планеты, на которые может переселиться человечество

Где искать планеты, намного больше подходящие для жизни, чем Земля?

ТехИнсайдер
Ищут давно, но не могут найти: 7 утраченных картин и скульптур, находка которых станет сенсацией Ищут давно, но не могут найти: 7 утраченных картин и скульптур, находка которых станет сенсацией

Пропавшие полотна великих мастеров, найти которые мечтают многие искусствоведы

Вокруг света
«Я не фанат супергеройских историй»: Лиам Нисон о боевиках и своем актерском методе «Я не фанат супергеройских историй»: Лиам Нисон о боевиках и своем актерском методе

Лиам Нисон — о съемках и ирландском кино

Forbes
Что дарить на свадьбу и как вручать подарок? Советы ведущего Что дарить на свадьбу и как вручать подарок? Советы ведущего

Вы получили приглашение на свадьбу и думаете, что подарить?

Psychologies
Как правильно готовить блины — рассказывают шефы московских ресторанов Как правильно готовить блины — рассказывают шефы московских ресторанов

Как же все-таки стоит готовить главный русский фастфуд?

Правила жизни
Бани, хор певчих и тур по Европе: свадебные традиции в XIX веке Бани, хор певчих и тур по Европе: свадебные традиции в XIX веке

От бала невест и сватовства до девичника в бане и путешествия по Европе

Культура.РФ
Сколько лет, сколько, Дим? Сколько лет, сколько, Дим?

Сегодня наш гуру фитнеса передаст вам самые ценные из знаний

Men Today
Маньяк, о котором все знали: история серийного убийцы Владимира Колебина Маньяк, о котором все знали: история серийного убийцы Владимира Колебина

Почему жители Рыбного скрывали маньяка?

VOICE
Король гол Король гол

Лионель Месси: да здравствует новый король футбола!

Men Today
Могила неизвестного Павлика Могила неизвестного Павлика

История Павлика Морозова

Дилетант
Альбом талантов Альбом талантов

У вас есть ощущение, что в жизни чего-то не хватает, но непонятно, что это?

Psychologies
Как упростить процесс сепарации для детей: 3 совета родителям Как упростить процесс сепарации для детей: 3 совета родителям

Почему ребенку так важно обрести самость и что для этого могут сделать родители?

Psychologies
Вулканы, которых не было Вулканы, которых не было

Самые знаменитые выдуманные вулканы

Вокруг света
Как помочь ребёнку подрасти? Как помочь ребёнку подрасти?

Почему одни дети растут как на дрожжах, а другие плетутся в хвосте?

Здоровье
Роман о Мишеле Строгоффе Роман о Мишеле Строгоффе

Как Жюль Верн написал признание в любви к России, а Россия его не поняла

Дилетант
«Новый этикет»: что сейчас нельзя делать на первом свидании «Новый этикет»: что сейчас нельзя делать на первом свидании

Давно не была на свиданиях? Хочешь чувствовать себя увереннее?

VOICE
Дислексия: проблема интеллекта или признак творческой личности Дислексия: проблема интеллекта или признак творческой личности

Ребенок пишет с наклоном в другую сторону или держит ручку не так, как все?

ТехИнсайдер
Урановый аэрогель как идеальное топливо для космических ядерных двигателей: новое решение старой проблемы Урановый аэрогель как идеальное топливо для космических ядерных двигателей: новое решение старой проблемы

Новых идеи двигателей для перемещения по космосу возникает все больше

ТехИнсайдер
Со всех концов света: стало известно, откуда египтяне получали вещества для создания мумий Со всех концов света: стало известно, откуда египтяне получали вещества для создания мумий

Чтобы жрецы могли бальзамировать тела, требовались долгие и опасные путешествия

Вокруг света
Лови ритм Лови ритм

История о том, как электричество заставляет сердце биться

N+1
Айфон выключился и не включается: как решить проблему Айфон выключился и не включается: как решить проблему

Почему айфон может внезапно выключиться и что с этим сделать?

CHIP
Экзотические домашние животные в квартире Экзотические домашние животные в квартире

Отважиться завести домашнее животное непросто, а экзотическое – сложнее вдвойне

Здоровье
Принцип экономии в живых системах: посмотрим на метаболиты Принцип экономии в живых системах: посмотрим на метаболиты

Живые организмы развились из сравнительно простых молекулярных структур

Наука и жизнь
Фейковый взрыв, эпопея с фамилиями и загадочные цифры: секреты 5 легендарных комедий Гайдая Фейковый взрыв, эпопея с фамилиями и загадочные цифры: секреты 5 легендарных комедий Гайдая

Ищем пасхалки в фильмах Гайдая, на которые раньше не обращали внимания

Правила жизни
Открыть в приложении