Из чего состоят разговорные боты и чего ждать от многообещающих новинок?

ForbesБизнес

Бот знает: как устроены языковые модели и к чему ведет конкуренция на этом рынке

Татьяна Шаврина

Фото Belga / Reuters

ChatGPT стал самым быстрорастущим потребительским приложением в истории: всего через два месяца после запуска месячное количество активных пользователей бота достигло 100 млн человек. 6 февраля сразу две корпорации объявили о скором запуске собственных аналогов: Google анонсировала экспериментальный сервис разговорного ИИ Bard, а акции китайской Baidu выросли после заявления о релизе разработки под названием ERNIE. Кандидат наук, руководитель научной группы NLP Института искусственного интеллекта AIRI и команды AGI NLP SberDevices Татьяна Шаврина объясняет, из чего состоят разговорные боты, чего ждать от многообещающих новинок и какое влияние они окажут на общество.

Большие языковые модели (LLM, Large Language Models)

Несмотря на взрывную популярность ChatGPT и гонку корпораций, языковые модели — далеко не новое явление. LLM — нейросетевые модели, которые позволяют обобщать, понимать и писать тексты на разных языках. Нейросеть выучивает язык во время обучения, при котором ей «показывают» огромное количество художественной литературы, интернет-форумов, энциклопедий и других источников, хорошо представляющих человеческий язык во всем его многообразии. Такие нейросети находятся внутри продвинутых ИИ-ассистентов, позволяя нам общаться с машиной.

Большими языковые модели называются потому, что, помимо массивного объема прочитанного, сами по себе являются масштабными системами. Профессионалы определяют размер моделей в параметрах — коэффициентах функций внутри модели, подобранных во время обучения нейросети: число параметров нейросети GPT-3 — 175 млрд, но бывают LLM и больше! Как правило, чем больше параметров у нейросети, тем лучше она обобщает навыки и знания. В случае с СhatGPT — это навык понимать человеческие инструкции в режиме диалога и выдавать качественный и интересный ответ.

LLM добились успеха в ряде задач: они отвечают на вопросы, могут обобщить или переписать текст, написать стихотворение и вести диалог. Пожалуй, в 2022 году именно переход самых новых нейросетей в режим диалога с пользователем позволил моделям стать интересными не только для ученых и разработчиков.

Максимально правдоподобное и безопасное моделирование общения на человеческом языке — вызов для исследователей. Среди основных проблем в работе с LLM профессор Стэнфордского университета Кристофер Поттс выделяет сложность обновления базы фактов, на которых обучена модель, и отсутствие ссылок на источники.

А еще у LLM есть «дети» — так называемые дообученные модели (fine-tuned models). На базе общетематических моделей создается копия, которую «натаскивают» на специфический домен или задачу, например, анализ медицинских исследований или поиск ошибок в коде. Процесс такого дообучения нейросетей называют «тюнинг».

Какие модели существуют уже сейчас

ChatGPT — самая популярная демонстрация большой языковой модели, которая стала открытой для рядового пользователя сети через простой интерфейс. Однако такое решение — не единственное. В мире существует ряд других LLM, часть из которых давно выложена в открытый доступ. Их изучают, развивают и применяют для решения своих задач сотни программистов и ученых, а некоторые стартапы строят на их базе собственные продукты:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Мемолог или вайб-менеджер: какие новые профессии придумал российский бизнес и зачем Мемолог или вайб-менеджер: какие новые профессии придумал российский бизнес и зачем

Какие необычные позиции появились в российских компаниях за последние пару лет

Forbes
Держись подальше: эти 6 продуктов вызывают неконтролируемую тягу и заставляют тебя набирать вес Держись подальше: эти 6 продуктов вызывают неконтролируемую тягу и заставляют тебя набирать вес

Против этой триггерной еды не устоит и самая прокачанная сила воли

VOICE
Как не выбесить коллег  в рабочем чате: новый цифровой этикет Как не выбесить коллег  в рабочем чате: новый цифровой этикет

Как решить рабочий вопрос в мессенджере, не раздражая коллег?

Inc.
«Мне стало легче». Истории людей, которые отомстили своим обидчикам и не жалеют об этом «Мне стало легче». Истории людей, которые отомстили своим обидчикам и не жалеют об этом

Наши герои пошли по пути мести и решили объяснить, почему они это сделали

Лиза
Страдания от избытка красоты: что такое синдром Стендаля Страдания от избытка красоты: что такое синдром Стендаля

Что такое синдром Стендаля и в чем он выражается

ТехИнсайдер
Мумии возвращаются: кто и как зарабатывает на сокровищах Древнего Египта Мумии возвращаются: кто и как зарабатывает на сокровищах Древнего Египта

Почему мир без устали исследует тайны Египта, а он никак не перестает удивлять

Forbes
Внутри человека: семь лучших фильмов и сериалов о психологии Внутри человека: семь лучших фильмов и сериалов о психологии

В подборке семь стоящих сериалов и фильмов о психологии и психологах

Forbes
Зачем в СССР делали гигантские «Антеи», «Русланы» и «Мрии» Зачем в СССР делали гигантские «Антеи», «Русланы» и «Мрии»

Кому нужна была такая мощь и почему сейчас про эти самолёты ничего не слышно?

ТехИнсайдер
Мгла рассеется: как снимался бэкстейдж сериала «Фишер» Мгла рассеется: как снимался бэкстейдж сериала «Фишер»

Посмотрите фотоисторию о вселенной сериала «Фишер»

Правила жизни
ТОП 5 самых быстрых машин в мире ТОП 5 самых быстрых машин в мире

Каким четырехколесным богам сегодня поклоняются в мире?

РБК
Драма на Артезиане Драма на Артезиане

Как раз в декабре у степных животных начинается важнейший этап в их жизни — гон

Наука и жизнь
Турция: полный гид для идеального и небанального отдыха Турция: полный гид для идеального и небанального отдыха

Все, что поможет подготовиться к путешествию и спланировать отпуск в Турции

Правила жизни
Секреты Секреты

Раскрываем секреты домашней укладки феном

VOICE
На Сатурне сезон спиц: что это за явление и при чем здесь времена года? На Сатурне сезон спиц: что это за явление и при чем здесь времена года?

Астрономы ждут сатурнианского равноденствия, чтобы оценить спицы во всей красе

Вокруг света
Стоит насторожиться или само пройдет? Стоит насторожиться или само пройдет?

Откуда берутся белые пятна на ногтях рук?

Лиза
На его стороне На его стороне

Как приободрить и утешить того, кто отказывается от любой помощи?

Лиза
Анастасия Стоцкая: «Сцена лечит душу не только актёра, но и зрителей» Анастасия Стоцкая: «Сцена лечит душу не только актёра, но и зрителей»

Анастасия Стоцкая рассказала о секретах здоровья, молодости и о воспитании детей

Здоровье
Почему Земля не круглая и существует ли во Вселенной идеальный шар? Почему Земля не круглая и существует ли во Вселенной идеальный шар?

От нейтронных звезд до шара сверхчистого кремния — самые идеальные сферы в мире

ТехИнсайдер
Идеальный дом Идеальный дом

Большая семья, цвет айвори, семейный уют, стиль Ralph Lauren и кружка кофе

SALON-Interior
Как выглядел Чебурашка в самой первой книге: ты поразишься, когда узнаешь! Как выглядел Чебурашка в самой первой книге: ты поразишься, когда узнаешь!

В первых книгах Чебурашка выглядел совсем иначе

VOICE
Правда ли, что кофеин заряжает энергией по утрам? Вот почему вы не можете проснуться без чашки кофе Правда ли, что кофеин заряжает энергией по утрам? Вот почему вы не можете проснуться без чашки кофе

Действительно ли нам нужен кофе по утрам?

ТехИнсайдер
Дремлющие драконы Дремлющие драконы

Супервулканы спят десятки тысяч лет, а проснувшись, засыпают пеплом континенты

Вокруг света
Фернандо Алонсо проехал «идеальный круг» на Aston Martin DBX707 (видео) Фернандо Алонсо проехал «идеальный круг» на Aston Martin DBX707 (видео)

Выжимаем максимум из Aston Martin DBX707

4x4 Club
Полуостров вулканов Полуостров вулканов

Камчатка — самая вулканически активная зона планеты

Вокруг света
От подручного уголька до систем распознавания рукописного текста: краткая эволюция письменных принадлежностей От подручного уголька до систем распознавания рукописного текста: краткая эволюция письменных принадлежностей

Чем и как писало человечество на разных этапах своей истории

Вокруг света
Почему он со мной не делится: 7 причин замкнутости подростка Почему он со мной не делится: 7 причин замкнутости подростка

Почему подростки перестают общаться со своими родителями

СНОБ
Импакт и импакт-инвестиции в СМИ и социальных медиа | Impact and impact investing in traditional and social media Импакт и импакт-инвестиции в СМИ и социальных медиа | Impact and impact investing in traditional and social media

Как устроено импакт-инвестирование в России

Позитивные изменения
Не лень, а неправильная мотивация: как научиться добиваться своих целей Не лень, а неправильная мотивация: как научиться добиваться своих целей

Главная причина лени и прокрастинации – в плохой мотивации и отсутствии стимула

VOICE
Ученые выяснили, как пристрастие к кокаину убивает мозг человека Ученые выяснили, как пристрастие к кокаину убивает мозг человека

Употребление кокаина ускоряет "возрастные" изменения мозга

ТехИнсайдер
Материнство по выбору: женщины, боровшиеся за право на контрацепцию Материнство по выбору: женщины, боровшиеся за право на контрацепцию

Рассказываем о секс-просветительницах, которых даже тюрьма не останавливала

Forbes
Открыть в приложении