Компания OpenAI представила мультимодальную генеративную модель GPT-4o

N+1Hi-Tech

OpenAI представила мультимодальную генеративную модель GPT-4o

Она умеет разговаривать, видеть, и имитирует эмоции

Андрей Фокин

0feba817682cb3557f5dd3b9a38f3ae7.jpg
OpenAI / YouTube

Компания OpenAI представила мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио и изображениями, включая видео. Модель может общаться с пользователем голосом и поддерживает 50 языков. Она может имитировать различные интонации, шепот, пение, смех. При этом модель работает гораздо быстрее предшествующей версии — время задержки ответа в голосовом режиме составляет в среднем около 0,3 секунды, что сравнимо с временем реакции человека. Также модель может видеть, получая и интерпретируя изображение с камеры в реальном времени. Трансляция презентации велась на YouTube.

Первая генеративная языковая модель уровня GPT-4 была представлена компанией OpenAI в марте 2023 года. В отличие от более ранней версии GPT-3.5, которая могла работать только с текстовой информацией, GPT-4 впервые получила способность принимать в качестве входных данных также и изображения. Кроме этого, в том же году состоялся релиз приложения на основе чат-бота ChatGPT с возможностью распознавания речи и синтеза голоса, что позволяло пользователям разговаривать с моделью и использовать ее в роли голосового ассистента.

В понедельник 13 мая 2024 года во время прямой трансляции на YouTube состоялась презентация новой версии GPT-4, которая получила обозначение GPT-4o (символ «о» в конце означает «omni»). Теперь модель принимает в качестве входных данных любую комбинацию текста, звука и изображения, включая видео. При этом она работает гораздо быстрее своей предшественницы, в том числе и во время голосового общения. Генерация ответа происходит со средней задержкой всего лишь 320 миллисекунд, что сравнимо со временем реакции человека в разговоре.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Илья Найшуллер Илья Найшуллер

Илья Найшуллер: об опыте работы в Америке, харассменте и женитьбе

Maxim
Макак научили чувствовать ритм Макак научили чувствовать ритм

Обезьяны ритмично двигали рукой под музыку за вознаграждение

N+1
Невидимый след потребления: чем опасен микропластик Невидимый след потребления: чем опасен микропластик

Как микропластик влияет на наше здоровье?

Psychologies
Медные слитки из минойского дворца Агия-Триада отлили из уральской руды Медные слитки из минойского дворца Агия-Триада отлили из уральской руды

Ученые проанализировали состав 15 медных слитков, обнаруженных на Крите

N+1
Всё сложится! Всё сложится!

Лайфхаки, которые упростят сборы и сделают путешествие комфортнее

Новый очаг
«Красные гиганты»: как баскетбол становился частью советской культуры и спорта «Красные гиганты»: как баскетбол становился частью советской культуры и спорта

Отрывок из книги «Красные гиганты. История советского баскетбола»

Forbes
Стоит ли увидеть новое кино Гая Ричи «Министерство неджентльменских дел». Честная рецензия MAXIM Стоит ли увидеть новое кино Гая Ричи «Министерство неджентльменских дел». Честная рецензия MAXIM

Ричи решил снять своих «Бесславных ублюдков», что у него из этого получилось?

Maxim
Миллион цветных деталей Миллион цветных деталей

Весь мир играет в конструкторы «Лего» семьдесят лет и не наигрался до сих пор

Вокруг света
Синдром Дон Жуана: какая детская травма скрыта за образом мачо Синдром Дон Жуана: какая детская травма скрыта за образом мачо

Что такое синдром Дон Жуана, как с ним живут мужчины?

Psychologies
Жители острова Алор отведали икру морских ежей примерно 43 тысячи лет назад Жители острова Алор отведали икру морских ежей примерно 43 тысячи лет назад

Древние люди начали собирать морских ежей еще примерно 43 тысячи лет назад

N+1
«По закону они просто вещи»: кто и как в России спасает животных во время катастроф «По закону они просто вещи»: кто и как в России спасает животных во время катастроф

Как фонды и волонтеры вызволяют питомцев, оставленных в зоне затопления

Forbes
10 городов с самым большим количеством миллиардеров — 2024 10 городов с самым большим количеством миллиардеров — 2024

Какие мегаполисы стали центрами притяжения для самых богатых людей мира

Forbes
Список на лето: 7 важных книг для подростков Список на лето: 7 важных книг для подростков

7 небанальных, но важных книг для людей 12–18 лет

СНОБ
От Гоши из «Москва слезам не верит» до Наумова из «Красных линий»: как менялся образ мужчины в российском кино От Гоши из «Москва слезам не верит» до Наумова из «Красных линий»: как менялся образ мужчины в российском кино

Как образ мужчины в российском кино отражал динамику общественных событий?

Maxim
Александр Ширвиндт: «Главное — не допустить, чтобы тебя жалели» Александр Ширвиндт: «Главное — не допустить, чтобы тебя жалели»

«Мы играли что-то необыкновенно острое. Дико бичевали пороки!»

Караван историй
Убийца прокрастинации: как работать по технике «Помодоро» Убийца прокрастинации: как работать по технике «Помодоро»

Как выполнять задачи эффективно и все успевать благодаря технике «Помодоро»

ТехИнсайдер
Френч, Мишальон, Ободников: 5 бестселлеров от непрофессиональных писателей Френч, Мишальон, Ободников: 5 бестселлеров от непрофессиональных писателей

Юрист, журналист, театральная актриса и графиня, которые создали отличные романы

СНОБ
Без комплексов Без комплексов

Изучим самые распространенные женские причуды и варианты терапии

Лиза
Приятель Гая Ричи, партнер Кортни Кокс и враг Дэдпула: все фильмы Дэвида Бекхэма Приятель Гая Ричи, партнер Кортни Кокс и враг Дэдпула: все фильмы Дэвида Бекхэма

Актерская карьера экс-футболиста Дэвида Бекхэма

Forbes
Два лучших упражнения для снижения артериального давления: попробуйте догадаться Два лучших упражнения для снижения артериального давления: попробуйте догадаться

Какие упражнения лучше всего подойдут для снижения кровяного давления

ТехИнсайдер
Узнайте, почему водка не замерзает в морозилке! Блесните этим фактом в компании друзей Узнайте, почему водка не замерзает в морозилке! Блесните этим фактом в компании друзей

Замерзает ли алкоголь вообще?

ТехИнсайдер
Удивительная история! Как корабль «Аделла Шорс» нашли спустя 115 лет после таинственного исчезновения Удивительная история! Как корабль «Аделла Шорс» нашли спустя 115 лет после таинственного исчезновения

Что случилось с американским судном, которое исчезло вместе с экипажем в 1909?

ТехИнсайдер
Добавим зелень Добавим зелень

Как вырастить полезные травы в домашних условиях

Лиза
20 вопросов, чтобы понять, есть ли у вас синдром Венди 20 вопросов, чтобы понять, есть ли у вас синдром Венди

Заметили, что систематически пренебрегаете собой в дружеских отношениях?

Psychologies
«Шуточки у вас...» Косатки-хулиганы утопили яхту в проливе Гибралтар «Шуточки у вас...» Косатки-хулиганы утопили яхту в проливе Гибралтар

Почему касатки топят яхты и корабли у побережья Испании?

ТехИнсайдер
Как образ жизни влияет на качество секса: 3 ключевых фактора Как образ жизни влияет на качество секса: 3 ключевых фактора

Как изменения в образе жизни могут повлиять на сексуальную жизнь?

Psychologies
Как перестать тратить и начать зарабатывать: 3 совета Михаила Лабковского Как перестать тратить и начать зарабатывать: 3 совета Михаила Лабковского

Деньги — цель или средство? Источник удовольствия или тяжкое бремя?

Psychologies
На гравировке из Италии опознали последнего пещерного льва Европы На гравировке из Италии опознали последнего пещерного льва Европы

Археологи исследовали кусок известняка с гравировками из пещеры Романелли

N+1
Все на себе. Когда в семье все упрекают друг друга Все на себе. Когда в семье все упрекают друг друга

Как быть, если в семье все недовольны друг другом? Как реагировать на обиды?

СНОБ
Белое или красное Белое или красное

Продукты и блюда, которые отлично сочетаются с разными видами вина

Лиза
Открыть в приложении