Из чего состоят разговорные боты и чего ждать от многообещающих новинок?

ForbesБизнес

Бот знает: как устроены языковые модели и к чему ведет конкуренция на этом рынке

Татьяна Шаврина

Фото Belga / Reuters

ChatGPT стал самым быстрорастущим потребительским приложением в истории: всего через два месяца после запуска месячное количество активных пользователей бота достигло 100 млн человек. 6 февраля сразу две корпорации объявили о скором запуске собственных аналогов: Google анонсировала экспериментальный сервис разговорного ИИ Bard, а акции китайской Baidu выросли после заявления о релизе разработки под названием ERNIE. Кандидат наук, руководитель научной группы NLP Института искусственного интеллекта AIRI и команды AGI NLP SberDevices Татьяна Шаврина объясняет, из чего состоят разговорные боты, чего ждать от многообещающих новинок и какое влияние они окажут на общество.

Большие языковые модели (LLM, Large Language Models)

Несмотря на взрывную популярность ChatGPT и гонку корпораций, языковые модели — далеко не новое явление. LLM — нейросетевые модели, которые позволяют обобщать, понимать и писать тексты на разных языках. Нейросеть выучивает язык во время обучения, при котором ей «показывают» огромное количество художественной литературы, интернет-форумов, энциклопедий и других источников, хорошо представляющих человеческий язык во всем его многообразии. Такие нейросети находятся внутри продвинутых ИИ-ассистентов, позволяя нам общаться с машиной.

Большими языковые модели называются потому, что, помимо массивного объема прочитанного, сами по себе являются масштабными системами. Профессионалы определяют размер моделей в параметрах — коэффициентах функций внутри модели, подобранных во время обучения нейросети: число параметров нейросети GPT-3 — 175 млрд, но бывают LLM и больше! Как правило, чем больше параметров у нейросети, тем лучше она обобщает навыки и знания. В случае с СhatGPT — это навык понимать человеческие инструкции в режиме диалога и выдавать качественный и интересный ответ.

LLM добились успеха в ряде задач: они отвечают на вопросы, могут обобщить или переписать текст, написать стихотворение и вести диалог. Пожалуй, в 2022 году именно переход самых новых нейросетей в режим диалога с пользователем позволил моделям стать интересными не только для ученых и разработчиков.

Максимально правдоподобное и безопасное моделирование общения на человеческом языке — вызов для исследователей. Среди основных проблем в работе с LLM профессор Стэнфордского университета Кристофер Поттс выделяет сложность обновления базы фактов, на которых обучена модель, и отсутствие ссылок на источники.

А еще у LLM есть «дети» — так называемые дообученные модели (fine-tuned models). На базе общетематических моделей создается копия, которую «натаскивают» на специфический домен или задачу, например, анализ медицинских исследований или поиск ошибок в коде. Процесс такого дообучения нейросетей называют «тюнинг».

Какие модели существуют уже сейчас

ChatGPT — самая популярная демонстрация большой языковой модели, которая стала открытой для рядового пользователя сети через простой интерфейс. Однако такое решение — не единственное. В мире существует ряд других LLM, часть из которых давно выложена в открытый доступ. Их изучают, развивают и применяют для решения своих задач сотни программистов и ученых, а некоторые стартапы строят на их базе собственные продукты:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Признание на стекле: как «Ролан Гаррос» подарил теннису самую узнаваемую традицию Признание на стекле: как «Ролан Гаррос» подарил теннису самую узнаваемую традицию

Почему традиция теннисистов расписываться на линзе камере родилась во Франции

Forbes
Нобелевка по-русски: как в России появилась первая частная премия для ученых Нобелевка по-русски: как в России появилась первая частная премия для ученых

Заслуга в учреждении премии для ученых принадлежит представителю семьи Демидовых

Вокруг света
Как понять, хорошо ли работает ваш директор по развитию Как понять, хорошо ли работает ваш директор по развитию

Какие KPI нужно измерять у директора по развитию, чтобы бизнес развивался

Inc.
Как и почему появляются родинки на теле? Как и почему появляются родинки на теле?

Родинки — сигнал нашего тела о каких-то внутренних процессах?

ТехИнсайдер
Развод и утрата: как справиться с последствиями Развод и утрата: как справиться с последствиями

Как утрата влияет на наше психологическое состояние?

VOICE
Адаптация психики к кризису: 9 путей выживания Адаптация психики к кризису: 9 путей выживания

Отрывок из книги Элины Фроловой «Мы справимся»

Psychologies
Хотите, чтобы люди помнили, что вы говорите? Эксперт по коммуникациям поделился 1 упражнением Хотите, чтобы люди помнили, что вы говорите? Эксперт по коммуникациям поделился 1 упражнением

Как установить связь с аудиторией?

Inc.
Фернандо Алонсо проехал «идеальный круг» на Aston Martin DBX707 (видео) Фернандо Алонсо проехал «идеальный круг» на Aston Martin DBX707 (видео)

Выжимаем максимум из Aston Martin DBX707

4x4 Club
Потеря контакта. Адгезия в биологии рака Потеря контакта. Адгезия в биологии рака

В онкологии есть целый арсенал средств борьбы со злокачественными заболеваниями

Наука и жизнь
Спирс, Джоли, Кен, рысь: на кого хотели быть похожи жертвы пластики Спирс, Джоли, Кен, рысь: на кого хотели быть похожи жертвы пластики

Эти люди спустили целые состояния на пластику

VOICE
«У Ярослава просмотров за 2 часа столько, сколько у Екатерины за неделю»: юрист из Москвы провела эксперимент и заменила в резюме пол на мужской «У Ярослава просмотров за 2 часа столько, сколько у Екатерины за неделю»: юрист из Москвы провела эксперимент и заменила в резюме пол на мужской

Женщин-кандидаток на руководящие должности отсеивают уже на этапе резюме

Правила жизни
Как сблизиться с партнером: 4 простых шага — попробуйте в отношениях Как сблизиться с партнером: 4 простых шага — попробуйте в отношениях

Несколько шагов, которые помогут сделать ваш союз сильнее

Psychologies
Почему мы не можем похудеть: 5 главных ошибок — советы диетолога Почему мы не можем похудеть: 5 главных ошибок — советы диетолога

Занимаетесь спортом, питаетесь правильно, но лишний вес никуда не уходит?

Psychologies
Почему измена — лучший способ разрушить жизнь: 9 негативных последствий Почему измена — лучший способ разрушить жизнь: 9 негативных последствий

Почему измена обязательно станет катастрофой

Psychologies
«Я уже не маленький»: как отношения с родителями мешают нам быть уверенными «Я уже не маленький»: как отношения с родителями мешают нам быть уверенными

Как справиться с беззащитностью в себе и найти ресурсы действовать как взрослый?

Psychologies

Самые невероятные конспирологические теории о знаменитостях

VOICE
Почему затопили легендарную атомную субмарину «Дмитрий Донской»: подлодка, ставшая кошмаром США Почему затопили легендарную атомную субмарину «Дмитрий Донской»: подлодка, ставшая кошмаром США

Зачем подводная лодка «Дмитрий Донской» была выведена из эксплуатации

ТехИнсайдер
Одна вокруг света: забастовка на шоссе и сосновая живица по дороге в Аргентину Одна вокруг света: забастовка на шоссе и сосновая живица по дороге в Аргентину

204-я серия о кругосветном путешествии москвички Ирины Сидоренко

Forbes
Вода, отруби и ягоды: 5 продуктов для идеальной работы кишечника — советы врача Вода, отруби и ягоды: 5 продуктов для идеальной работы кишечника — советы врача

Что поможет улучшить пищеварение?

Psychologies
Зашифровала на совесть: что Мария Стюарт писала из заточения французскому послу? Зашифровала на совесть: что Мария Стюарт писала из заточения французскому послу?

Расшифровка писем опальной шотландской королевы

Вокруг света
Фитнес из СССР Фитнес из СССР

«Диск здоровья» был невероятно популярен в советское время — и не зря

Лиза
Пределы проходимости. В Suzuki Jimny по снежной целине (видео) Пределы проходимости. В Suzuki Jimny по снежной целине (видео)

Справится ли Suzuki Jimny с снежными преградами?

4x4 Club
Новые Земли: есть ли во Вселенной планеты, на которые может переселиться человечество Новые Земли: есть ли во Вселенной планеты, на которые может переселиться человечество

Где искать планеты, намного больше подходящие для жизни, чем Земля?

ТехИнсайдер
Бойцовский дух: как российские аукционы перебрались из залов в онлайн Бойцовский дух: как российские аукционы перебрались из залов в онлайн

Как онлайн-аукционы стали ведущей площадкой продажи искусства в России

Forbes
Режиссер-однолюб: как Вадим Абдрашитов всю жизнь прожил с одной женой Режиссер-однолюб: как Вадим Абдрашитов всю жизнь прожил с одной женой

Вспоминаем жизнь режиссера Вадима Абдрашитов

VOICE
Платежные стикеры: что это такое и насколько они безопасны? Платежные стикеры: что это такое и насколько они безопасны?

Стоит ли пользоваться платежными стикерами?

CHIP
Древнейшие инструменты, найденные археологами, скорее всего изготовили не предки современного человека Древнейшие инструменты, найденные археологами, скорее всего изготовили не предки современного человека

Археологи обнаружили самые древние из когда-либо найденных каменных орудий

ТехИнсайдер
Дух места Дух места

Квартира в дореволюционном доме, в которой соединились традиции и современность

SALON-Interior
От Карского моря до Камчатки: где находятся 7 самых больших заповедников России От Карского моря до Камчатки: где находятся 7 самых больших заповедников России

Семерка самых больших заповедников России

Вокруг света
Место для мечты Место для мечты

Самый ценный подарок, который вы можете себе сделать — взять и осуществить мечту

Men Today
Открыть в приложении