Компания OpenAI представила мультимодальную генеративную модель GPT-4o

N+1Hi-Tech

OpenAI представила мультимодальную генеративную модель GPT-4o

Она умеет разговаривать, видеть, и имитирует эмоции

Андрей Фокин

0feba817682cb3557f5dd3b9a38f3ae7.jpg
OpenAI / YouTube

Компания OpenAI представила мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио и изображениями, включая видео. Модель может общаться с пользователем голосом и поддерживает 50 языков. Она может имитировать различные интонации, шепот, пение, смех. При этом модель работает гораздо быстрее предшествующей версии — время задержки ответа в голосовом режиме составляет в среднем около 0,3 секунды, что сравнимо с временем реакции человека. Также модель может видеть, получая и интерпретируя изображение с камеры в реальном времени. Трансляция презентации велась на YouTube.

Первая генеративная языковая модель уровня GPT-4 была представлена компанией OpenAI в марте 2023 года. В отличие от более ранней версии GPT-3.5, которая могла работать только с текстовой информацией, GPT-4 впервые получила способность принимать в качестве входных данных также и изображения. Кроме этого, в том же году состоялся релиз приложения на основе чат-бота ChatGPT с возможностью распознавания речи и синтеза голоса, что позволяло пользователям разговаривать с моделью и использовать ее в роли голосового ассистента.

В понедельник 13 мая 2024 года во время прямой трансляции на YouTube состоялась презентация новой версии GPT-4, которая получила обозначение GPT-4o (символ «о» в конце означает «omni»). Теперь модель принимает в качестве входных данных любую комбинацию текста, звука и изображения, включая видео. При этом она работает гораздо быстрее своей предшественницы, в том числе и во время голосового общения. Генерация ответа происходит со средней задержкой всего лишь 320 миллисекунд, что сравнимо со временем реакции человека в разговоре.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Песнь льда и пломбира Песнь льда и пломбира

Лиза Туктамышева – просто красивая девушка, которая любит мороженое!

Maxim
Сила граната: природное соединение в его составе может помочь в лечении болезни Альцгеймера Сила граната: природное соединение в его составе может помочь в лечении болезни Альцгеймера

Гранат может улучшить память и сделать лечение болезни Альцгеймера эффективнее

ТехИнсайдер
Все альбомы «Сектора Газа» — от худшего к лучшему Все альбомы «Сектора Газа» — от худшего к лучшему

У группы «Сектор Газа» нет плохих альбомов

Maxim
Почему в самолете при взлете и посадке запрещено опускать спинки кресел Почему в самолете при взлете и посадке запрещено опускать спинки кресел

Почему мы не можем приземляться и взлетать с комфортом?

ТехИнсайдер
Бемби против Годзиллы Бемби против Годзиллы

«Олененок»: триумф травмы

Weekend
Варикоз: причины, профилактика и методы лечения Варикоз: причины, профилактика и методы лечения

Что приводит к развитию варикоза, как избежать заболевания?

Psychologies
Китайский закон о сидячем образе жизни повысил физическую активность детей Китайский закон о сидячем образе жизни повысил физическую активность детей

Ученые оценили влияние закона, регулирующего время доступа детей к онлайн-играм

N+1
Было больно: MAXIM одним из первых посмотрел «Майор Гром: Игра» Было больно: MAXIM одним из первых посмотрел «Майор Гром: Игра»

Стала ли «Майор Гром: Игра» новым уровнем для российского кино?

Maxim
Галина и Евгений Киндиновы: «Коля долго не женился. Конечно же, романы у него были, но не с актрисами» Галина и Евгений Киндиновы: «Коля долго не женился. Конечно же, романы у него были, но не с актрисами»

Близкие друзья откровенно о Николае Караченцове

Коллекция. Караван историй
Мощный и быстрый «Буревестник»: как устроены ядерные двигатели для ракет Мощный и быстрый «Буревестник»: как устроены ядерные двигатели для ракет

Как работает ракета «Буревестник» с ядерным воздушно-реактивным двигателем?

ТехИнсайдер
Заплатить за свидание: как инвесторы отдают деньги мошенникам с сайтов знакомств Заплатить за свидание: как инвесторы отдают деньги мошенникам с сайтов знакомств

Как понять, что вместо свиданий вам предлагают инвестиционный скам?

Forbes
Вредно ли сидеть, положив ногу на ногу Вредно ли сидеть, положив ногу на ногу

Как вы обычно сидите в офисе? А за обеденным столом? В автобусе?

ТехИнсайдер
Что такое спейс-электроника и как ее слушать. Отрывок из книги «Планетроника» Что такое спейс-электроника и как ее слушать. Отрывок из книги «Планетроника»

Глава из книги про историю электронной музыки от журналиста Ника Завриева

СНОБ
Что такое Ватсу: обзор популярной телесно-ориентированной практики Что такое Ватсу: обзор популярной телесно-ориентированной практики

Практика Ватсу: как она проходит и влияет на состояние человека

Psychologies
«Я должна говорить»: как слепоглухая Хелен Келлер боролась за права людей «Я должна говорить»: как слепоглухая Хелен Келлер боролась за права людей

Как Хелен Келлер посвятила жизнь борьбе за права женщин, незрячих и глухих людей

Forbes
На доверии На доверии

Интуитивное питание — очень простой способ выстроить правильные отношения с едой

Лиза
5 фильмов, которые помогут лучше понять «Жить своей жизнью» Годара 5 фильмов, которые помогут лучше понять «Жить своей жизнью» Годара

Какие режиссеры повлияли на творчество Жана-Люка Годара

СНОБ
Люди, которые любят вино, чаще называют свои дни «счастливыми» Люди, которые любят вино, чаще называют свои дни «счастливыми»

Согласно опросу, месяц обязательно будет «выдающийся», если вы выпиваете вино!

ТехИнсайдер
Какими видами спорта занимались наши предки-славяне Какими видами спорта занимались наши предки-славяне

Список исконно русских спортивных игр: от аналога хоккея до мордобоя

Maxim
Будущее на кончике пера: писатели, которые знали, что нас ждет Будущее на кончике пера: писатели, которые знали, что нас ждет

Писатели, смелые фантазии которых сбылись на самом деле

Maxim
Городские реки оказались мощным источником парниковых выбросов Городские реки оказались мощным источником парниковых выбросов

За год из городских рек в атмосферу поступает ~80 млн. тонн углекислого газа

N+1
Макаронная революция: как «Макфа» отошла «Росимуществу» и какие еще бизнесы оказались в руках государства Макаронная революция: как «Макфа» отошла «Росимуществу» и какие еще бизнесы оказались в руках государства

Росимуществу перешло более десятка крупных производственных холдингов

Inc.
Как работает эффект плацебо Как работает эффект плацебо

Что вызывает эффект плацебо?

ТехИнсайдер
Гонки вокруг света Гонки вокруг света

Путешествие «леди Сенсация» привлекло внимание прессы и читателей по всему миру

Вокруг света
Двухтактные и четырехтактные мотокосы — в чем между ними разница и какой триммер лучше? Двухтактные и четырехтактные мотокосы — в чем между ними разница и какой триммер лучше?

Какой тип ДВС лучше выбрать для мотокосы

CHIP
5 советов нелюбимым дочерям: как избавиться от вины и стыда 5 советов нелюбимым дочерям: как избавиться от вины и стыда

Пять шагов, которые помогут совладать с чувствами вины и стыда

Psychologies
Как наладить отношения с деньгами: 4 главных правила управления капиталом Как наладить отношения с деньгами: 4 главных правила управления капиталом

Как его сбросить ложные установки и дать зеленый свет энергии денег?

Psychologies
Два лучших упражнения для снижения артериального давления: попробуйте догадаться Два лучших упражнения для снижения артериального давления: попробуйте догадаться

Какие упражнения лучше всего подойдут для снижения кровяного давления

ТехИнсайдер
10 способов справиться со стрессом: только наука! 10 способов справиться со стрессом: только наука!

Научно обоснованные методы помогут вам защитить свое тело и мозг от стресса

ТехИнсайдер
«Почему мне не рассказали это в 13 лет?»: чему важно научить девочек сегодня «Почему мне не рассказали это в 13 лет?»: чему важно научить девочек сегодня

Какие знания нужны девочкам сегодня?

Forbes
Открыть в приложении