Из чего состоят разговорные боты и чего ждать от многообещающих новинок?

ForbesБизнес

Бот знает: как устроены языковые модели и к чему ведет конкуренция на этом рынке

Татьяна Шаврина

Фото Belga / Reuters

ChatGPT стал самым быстрорастущим потребительским приложением в истории: всего через два месяца после запуска месячное количество активных пользователей бота достигло 100 млн человек. 6 февраля сразу две корпорации объявили о скором запуске собственных аналогов: Google анонсировала экспериментальный сервис разговорного ИИ Bard, а акции китайской Baidu выросли после заявления о релизе разработки под названием ERNIE. Кандидат наук, руководитель научной группы NLP Института искусственного интеллекта AIRI и команды AGI NLP SberDevices Татьяна Шаврина объясняет, из чего состоят разговорные боты, чего ждать от многообещающих новинок и какое влияние они окажут на общество.

Большие языковые модели (LLM, Large Language Models)

Несмотря на взрывную популярность ChatGPT и гонку корпораций, языковые модели — далеко не новое явление. LLM — нейросетевые модели, которые позволяют обобщать, понимать и писать тексты на разных языках. Нейросеть выучивает язык во время обучения, при котором ей «показывают» огромное количество художественной литературы, интернет-форумов, энциклопедий и других источников, хорошо представляющих человеческий язык во всем его многообразии. Такие нейросети находятся внутри продвинутых ИИ-ассистентов, позволяя нам общаться с машиной.

Большими языковые модели называются потому, что, помимо массивного объема прочитанного, сами по себе являются масштабными системами. Профессионалы определяют размер моделей в параметрах — коэффициентах функций внутри модели, подобранных во время обучения нейросети: число параметров нейросети GPT-3 — 175 млрд, но бывают LLM и больше! Как правило, чем больше параметров у нейросети, тем лучше она обобщает навыки и знания. В случае с СhatGPT — это навык понимать человеческие инструкции в режиме диалога и выдавать качественный и интересный ответ.

LLM добились успеха в ряде задач: они отвечают на вопросы, могут обобщить или переписать текст, написать стихотворение и вести диалог. Пожалуй, в 2022 году именно переход самых новых нейросетей в режим диалога с пользователем позволил моделям стать интересными не только для ученых и разработчиков.

Максимально правдоподобное и безопасное моделирование общения на человеческом языке — вызов для исследователей. Среди основных проблем в работе с LLM профессор Стэнфордского университета Кристофер Поттс выделяет сложность обновления базы фактов, на которых обучена модель, и отсутствие ссылок на источники.

А еще у LLM есть «дети» — так называемые дообученные модели (fine-tuned models). На базе общетематических моделей создается копия, которую «натаскивают» на специфический домен или задачу, например, анализ медицинских исследований или поиск ошибок в коде. Процесс такого дообучения нейросетей называют «тюнинг».

Какие модели существуют уже сейчас

ChatGPT — самая популярная демонстрация большой языковой модели, которая стала открытой для рядового пользователя сети через простой интерфейс. Однако такое решение — не единственное. В мире существует ряд других LLM, часть из которых давно выложена в открытый доступ. Их изучают, развивают и применяют для решения своих задач сотни программистов и ученых, а некоторые стартапы строят на их базе собственные продукты:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Цифровой сценарист: как ИИ создает иллюзию свободы выбора Цифровой сценарист: как ИИ создает иллюзию свободы выбора

Как научиться распознавать технологические манипуляции

Forbes
Эмоциональный развод: что это и как его пережить Эмоциональный развод: что это и как его пережить

Почему супруги продолжают жить под одной крышей, но каждый живет отдельную жизнь

Psychologies
Как американский ИИ-стартап помогает ресторанам процветать среди корпораций Как американский ИИ-стартап помогает ресторанам процветать среди корпораций

Как языковые модели помогают малым ресторанам конкурировать

Forbes
Кто-то зовет в снежной степи: чем привлекает бурятское современное искусство Кто-то зовет в снежной степи: чем привлекает бурятское современное искусство

Мифические существа и нежные натюрморты: работы художницы Аллы Цыбиковой

Forbes
Почему не стоит оставлять открытыми алюминиевые банки в холодильнике Почему не стоит оставлять открытыми алюминиевые банки в холодильнике

Безопасно ли есть из железных банок, которые были оставлены открытыми?

ТехИнсайдер
Источником темной энергии могут быть черные дыры Источником темной энергии могут быть черные дыры

К картине Вселенной не нужно добавлять нового, чтобы объяснить темную энергию

ТехИнсайдер
Почему все люди плачут: научный взгляд на слезы Почему все люди плачут: научный взгляд на слезы

Для чего люди плачут? Несколько удивительных версий

ТехИнсайдер
На первый взгляд. BMW X6 2024 модельного года На первый взгляд. BMW X6 2024 модельного года

BMW X6 – оригинальное спортивное купе

4x4 Club
Дело Важинского Дело Важинского

Как погиб главный конструктор автозавода имени Сталина

Автопилот
«Отчим держал меня в сексуальном рабстве»: Анастасия Цветаева рассказала о пережитых издевательствах «Отчим держал меня в сексуальном рабстве»: Анастасия Цветаева рассказала о пережитых издевательствах

Анастасия Цветаева столкнулась с сексуальным насилием в раннем возрасте

VOICE
Сериал «Одни из нас»: зомби-апокалипсис, который понравится не только фанатам игры Сериал «Одни из нас»: зомби-апокалипсис, который понравится не только фанатам игры

Благодаря отношениям между героями «Одни из нас» понравятся любому зрителю

Forbes
В Кении обнаружили олдованские орудия возрастом 2,6-3 миллиона лет В Кении обнаружили олдованские орудия возрастом 2,6-3 миллиона лет

Археологи обнаружили в Кении 330 олдованских каменных артефактов

N+1
«Девочка из шкафа»: история Лорен Кавано, которую до 8 лет держали взаперти родители «Девочка из шкафа»: история Лорен Кавано, которую до 8 лет держали взаперти родители

«Наша маленькая тайна» — так называли Лорен ее мать и отчим

VOICE
Худой мир Худой мир

Переговоры сопровождались драматическими, а временами и курьезными эпизодами

Вокруг света
О чем говорят мужчины: откровенная беседа читателей о любви — 5 историй О чем говорят мужчины: откровенная беседа читателей о любви — 5 историй

Пять мужчин — о встречах, расставаниях, изменах, романах и о любви

Psychologies
5 веских причин сказать «нет» и 5 шагов, чтобы сделать это корректно 5 веских причин сказать «нет» и 5 шагов, чтобы сделать это корректно

Как вежливо сказать «нет» и почему важно отказывать?

Psychologies
Замена Мари Кондо: как работает парижская система уборки Мари Керу, созданная для семей с детьми Замена Мари Кондо: как работает парижская система уборки Мари Керу, созданная для семей с детьми

Концепция «экологии интерьера» от француженки Мари Керу

VOICE
Анна Зайкова: «Это был счастливый билет, который мне вручил Марк Анатольевич Захаров» Анна Зайкова: «Это был счастливый билет, который мне вручил Марк Анатольевич Захаров»

Подошел мужчина, показал мою фотографию в телефоне и сказал: «Вы очень похожи»

Караван историй
Поговори мне тут: как происходит революция в мире ИИ Поговори мне тут: как происходит революция в мире ИИ

Почему нейросети стали походить на людей?

РБК
Разобраться в механизме: как лечение редких заболеваний помогает развитию медицины Разобраться в механизме: как лечение редких заболеваний помогает развитию медицины

Почему от качества лечения редких заболеваний зависит будущее медицины

Forbes
Война за Аляску Война за Аляску

Как проходило освоение Россией Аляски

Дилетант
«Назад в 90-е»: почему мы снова верим в Вангу и тарологов «Назад в 90-е»: почему мы снова верим в Вангу и тарологов

Объявления тарологов и магов набирают популярность. Что это говорит о нас?

Psychologies
Визит к сексологу: что нужно знать — 6 главных вопросов Визит к сексологу: что нужно знать — 6 главных вопросов

Что происходит в кабинете сексолога?

Psychologies
«Рисковать, так одной»: как советская полярница Нина Демме покоряла Арктику «Рисковать, так одной»: как советская полярница Нина Демме покоряла Арктику

Ученая Нина Демме осталась в истории первой профессиональной полярницей

Forbes
Есть ли жизнь после выгорания: 5 фактов об этом непростом периоде Есть ли жизнь после выгорания: 5 фактов об этом непростом периоде

Поговорим о том, есть ли жизнь после выгорания и какой она может быть

Psychologies
35 вопросов, которые помогут вам лучше узнать близкого человека 35 вопросов, которые помогут вам лучше узнать близкого человека

Часто нам кажется, что о самых близких нам людях мы знаем буквально все

Psychologies
Вспомним, как это было: 5 книг, вызывающих чувство ностальгии по юности Вспомним, как это было: 5 книг, вызывающих чувство ностальгии по юности

Книги про юность, лето и 90-е

ТехИнсайдер
Посмотрите на древнеримский фаллос — ему 2 тысячи лет! Ученые сомневаются в его предназначении Посмотрите на древнеримский фаллос — ему 2 тысячи лет! Ученые сомневаются в его предназначении

Исследователи вновь решились изучить находку 1992 года. Вот что они выяснили

ТехИнсайдер
Как запрещено одеваться невысоким девушкам: учимся на ошибках звезд Как запрещено одеваться невысоким девушкам: учимся на ошибках звезд

Подборка трендов, которые не стоит повторять за любимыми звездными дюймовочками!

VOICE
Как и почему появляются родинки на теле? Как и почему появляются родинки на теле?

Родинки — сигнал нашего тела о каких-то внутренних процессах?

ТехИнсайдер
Открыть в приложении