Из чего состоят разговорные боты и чего ждать от многообещающих новинок?

ForbesБизнес

Бот знает: как устроены языковые модели и к чему ведет конкуренция на этом рынке

Татьяна Шаврина

Фото Belga / Reuters

ChatGPT стал самым быстрорастущим потребительским приложением в истории: всего через два месяца после запуска месячное количество активных пользователей бота достигло 100 млн человек. 6 февраля сразу две корпорации объявили о скором запуске собственных аналогов: Google анонсировала экспериментальный сервис разговорного ИИ Bard, а акции китайской Baidu выросли после заявления о релизе разработки под названием ERNIE. Кандидат наук, руководитель научной группы NLP Института искусственного интеллекта AIRI и команды AGI NLP SberDevices Татьяна Шаврина объясняет, из чего состоят разговорные боты, чего ждать от многообещающих новинок и какое влияние они окажут на общество.

Большие языковые модели (LLM, Large Language Models)

Несмотря на взрывную популярность ChatGPT и гонку корпораций, языковые модели — далеко не новое явление. LLM — нейросетевые модели, которые позволяют обобщать, понимать и писать тексты на разных языках. Нейросеть выучивает язык во время обучения, при котором ей «показывают» огромное количество художественной литературы, интернет-форумов, энциклопедий и других источников, хорошо представляющих человеческий язык во всем его многообразии. Такие нейросети находятся внутри продвинутых ИИ-ассистентов, позволяя нам общаться с машиной.

Большими языковые модели называются потому, что, помимо массивного объема прочитанного, сами по себе являются масштабными системами. Профессионалы определяют размер моделей в параметрах — коэффициентах функций внутри модели, подобранных во время обучения нейросети: число параметров нейросети GPT-3 — 175 млрд, но бывают LLM и больше! Как правило, чем больше параметров у нейросети, тем лучше она обобщает навыки и знания. В случае с СhatGPT — это навык понимать человеческие инструкции в режиме диалога и выдавать качественный и интересный ответ.

LLM добились успеха в ряде задач: они отвечают на вопросы, могут обобщить или переписать текст, написать стихотворение и вести диалог. Пожалуй, в 2022 году именно переход самых новых нейросетей в режим диалога с пользователем позволил моделям стать интересными не только для ученых и разработчиков.

Максимально правдоподобное и безопасное моделирование общения на человеческом языке — вызов для исследователей. Среди основных проблем в работе с LLM профессор Стэнфордского университета Кристофер Поттс выделяет сложность обновления базы фактов, на которых обучена модель, и отсутствие ссылок на источники.

А еще у LLM есть «дети» — так называемые дообученные модели (fine-tuned models). На базе общетематических моделей создается копия, которую «натаскивают» на специфический домен или задачу, например, анализ медицинских исследований или поиск ошибок в коде. Процесс такого дообучения нейросетей называют «тюнинг».

Какие модели существуют уже сейчас

ChatGPT — самая популярная демонстрация большой языковой модели, которая стала открытой для рядового пользователя сети через простой интерфейс. Однако такое решение — не единственное. В мире существует ряд других LLM, часть из которых давно выложена в открытый доступ. Их изучают, развивают и применяют для решения своих задач сотни программистов и ученых, а некоторые стартапы строят на их базе собственные продукты:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Тренд золотых девочек»: как женщины ищут компаньонок для совместной жизни на пенсии «Тренд золотых девочек»: как женщины ищут компаньонок для совместной жизни на пенсии

Женские коммуны вместо домов престарелых — как женщины борются с одиночеством

Forbes
Эти 5 пар обуви закроют все твои потребности: минимум, который должен быть у каждой - мнение стилиста Эти 5 пар обуви закроют все твои потребности: минимум, который должен быть у каждой - мнение стилиста

5 пар обуви, которые выручат в 90% ситуаций

VOICE
Вопрос психологу: что мешает нам экономить и как изменить свое отношение к деньгам Вопрос психологу: что мешает нам экономить и как изменить свое отношение к деньгам

Почему экономия часто кажется наказанием и как можно изменить это восприятие

Правила жизни
«Для чего вы снова нас сюда вызываете?» «Для чего вы снова нас сюда вызываете?»

Константин Селин о своем фильме «Живой» и памяти о войне

Weekend
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
«Девятая стадия из десяти возможных»: дядя Юра из «Спокойной ночи, малыши!» рассказал, как победил рак «Девятая стадия из десяти возможных»: дядя Юра из «Спокойной ночи, малыши!» рассказал, как победил рак

Юрий Григорьев смог победить онкологию на предпоследней стадии

VOICE
Что нужно высокочувствительному человеку: 10 условий — улучшите вашу жизнь Что нужно высокочувствительному человеку: 10 условий — улучшите вашу жизнь

Без каких вещей человеку с высокой чувствительностью трудно жить

Psychologies
Как в старину гадали на святки? Как в старину гадали на святки?

Какими были святочные гадания?

Культура.РФ
Турция: полный гид для идеального и небанального отдыха Турция: полный гид для идеального и небанального отдыха

Все, что поможет подготовиться к путешествию и спланировать отпуск в Турции

Правила жизни
«Метазоа: Зарождение разума в животном мире» «Метазоа: Зарождение разума в животном мире»

Что морские создания могут рассказать об эволюции человека

N+1
Москва vs Петербург: краткая история пончика и пышки Москва vs Петербург: краткая история пончика и пышки

Чем отличается вкус пышек и пончиков?

СНОБ
ТОП 5 самых быстрых машин в мире ТОП 5 самых быстрых машин в мире

Каким четырехколесным богам сегодня поклоняются в мире?

РБК
Как сохранить нервы и не перегореть на работе? Стоит узнать! Как сохранить нервы и не перегореть на работе? Стоит узнать!

Как сохранить свое ментальное здоровье на работе?

ТехИнсайдер
На тёмной стороне искусства На тёмной стороне искусства

На коллекционерах то и дело наживаются всякого рода жулики, мошенники и воры

Robb Report
Какой вид спорта выбрать, если куришь: объясняет врач Какой вид спорта выбрать, если куришь: объясняет врач

Насколько здоровье курильщиков позволяет им заниматься спортом и какой лучше?

Maxim
Адаптация психики к кризису: 9 путей выживания Адаптация психики к кризису: 9 путей выживания

Отрывок из книги Элины Фроловой «Мы справимся»

Psychologies
Фигурист, потерявший ногу: трагическая история спортсмена Ивана Самоделкина Фигурист, потерявший ногу: трагическая история спортсмена Ивана Самоделкина

Как живет Иван Самоделкин - фигурист, который потерял ногу

VOICE
Свобода в отношениях: каковы ее границы Свобода в отношениях: каковы ее границы

Только ли в одиночестве можно быть по-настоящему свободным?

Psychologies
Посмотрите на древнеримский фаллос — ему 2 тысячи лет! Ученые сомневаются в его предназначении Посмотрите на древнеримский фаллос — ему 2 тысячи лет! Ученые сомневаются в его предназначении

Исследователи вновь решились изучить находку 1992 года. Вот что они выяснили

ТехИнсайдер
Раздавленные классики Раздавленные классики

Как хоррор-сериал «Красный состав» проехался по русской литературе

Weekend
Сергей Потоцкий: «Не признавать законности захвата власти большевиками» Сергей Потоцкий: «Не признавать законности захвата власти большевиками»

Среди российских военных агентов особое место занимал Сергей Николаевич Потоцкий

Дилетант
7 чудес света: античные и современные 7 чудес света: античные и современные

Античные и новые чудеса света, на которые можно взглянуть сейчас

ТехИнсайдер
Инстаграм на всю голову: почему мы все гонимся за идеальной картинкой в соцсетях? Инстаграм на всю голову: почему мы все гонимся за идеальной картинкой в соцсетях?

Как инстаграм и тренд на "чистую эстетику" разрушают нашу психику?

Правила жизни
«Вы уверены только в своей неуверенности»: что мешает нам двигаться вперед — история клиента психолога «Вы уверены только в своей неуверенности»: что мешает нам двигаться вперед — история клиента психолога

История клиента, который много лет только репетировал жизнь

Psychologies
Реальная любовь: 8 фильмов о том, какими бывают чувства Реальная любовь: 8 фильмов о том, какими бывают чувства

Киноподборка ко Дню всех влюбленных для тех, кто сказкам предпочитает быль.

Правила жизни
«Я обнажила грудь. Почему бы не показать ее всем?»: Настя Ивлеева рассказала о постельных сценах в «Монастыре» «Я обнажила грудь. Почему бы не показать ее всем?»: Настя Ивлеева рассказала о постельных сценах в «Монастыре»

Победив смущение, Настя Ивлеева смогла проявить профессионализм

VOICE
«Сама виновата»: что такое виктимблейминг и как он способствует распространению насилия «Сама виновата»: что такое виктимблейминг и как он способствует распространению насилия

Как часто вы слышите, что пострадавшие от насилия сами спровоцировали агрессора?

Psychologies
«Родить от донора и не зависеть от мужчины»: за и против. Размышления читательницы и психолога «Родить от донора и не зависеть от мужчины»: за и против. Размышления читательницы и психолога

Разумно ли родитель ребенка без поддержки партнера?

Psychologies
Дух места Дух места

Квартира в дореволюционном доме, в которой соединились традиции и современность

SALON-Interior
Голосовые ассистенты: насколько безопасно их использовать Голосовые ассистенты: насколько безопасно их использовать

Разбираемся в том, безопасно ли пользоваться голосовыми помощниками

CHIP
Открыть в приложении