Компания OpenAI представила мультимодальную генеративную модель GPT-4o

N+1Hi-Tech

OpenAI представила мультимодальную генеративную модель GPT-4o

Она умеет разговаривать, видеть, и имитирует эмоции

Андрей Фокин

0feba817682cb3557f5dd3b9a38f3ae7.jpg
OpenAI / YouTube

Компания OpenAI представила мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио и изображениями, включая видео. Модель может общаться с пользователем голосом и поддерживает 50 языков. Она может имитировать различные интонации, шепот, пение, смех. При этом модель работает гораздо быстрее предшествующей версии — время задержки ответа в голосовом режиме составляет в среднем около 0,3 секунды, что сравнимо с временем реакции человека. Также модель может видеть, получая и интерпретируя изображение с камеры в реальном времени. Трансляция презентации велась на YouTube.

Первая генеративная языковая модель уровня GPT-4 была представлена компанией OpenAI в марте 2023 года. В отличие от более ранней версии GPT-3.5, которая могла работать только с текстовой информацией, GPT-4 впервые получила способность принимать в качестве входных данных также и изображения. Кроме этого, в том же году состоялся релиз приложения на основе чат-бота ChatGPT с возможностью распознавания речи и синтеза голоса, что позволяло пользователям разговаривать с моделью и использовать ее в роли голосового ассистента.

В понедельник 13 мая 2024 года во время прямой трансляции на YouTube состоялась презентация новой версии GPT-4, которая получила обозначение GPT-4o (символ «о» в конце означает «omni»). Теперь модель принимает в качестве входных данных любую комбинацию текста, звука и изображения, включая видео. При этом она работает гораздо быстрее своей предшественницы, в том числе и во время голосового общения. Генерация ответа происходит со средней задержкой всего лишь 320 миллисекунд, что сравнимо со временем реакции человека в разговоре.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Химики перепаяли коллоидный раствор циклодекстрина в нужную форму Химики перепаяли коллоидный раствор циклодекстрина в нужную форму

Как коллоидный раствор циклодекстрина ведет себя на границе раздела вода-толуол

N+1
Замечали цветные кружки на продуктовых упаковках? Узнайте, что это такое! Замечали цветные кружки на продуктовых упаковках? Узнайте, что это такое!

Что значит тайный язык из ярких кругов или квадратов на упаковках с едой?

ТехИнсайдер
Что такое компилятор? Как работает: виды и примеры Что такое компилятор? Как работает: виды и примеры

Как компилятор помогает человек и компьютеру понять друг друга

Цифровой океан
От фактов к фейкам: как ложь и манипуляции угрожают научным исследованиям От фактов к фейкам: как ложь и манипуляции угрожают научным исследованиям

К чему могут привести манипуляции ученых

Forbes
Всем знакомо выражение «до свадьбы заживет». Но вы даже не догадываетесь, у кого, а главное что должно было зажить Всем знакомо выражение «до свадьбы заживет». Но вы даже не догадываетесь, у кого, а главное что должно было зажить

А вы знаете, что у кого должно было зажить и до чьей свадьбы?

ТехИнсайдер
Российский турист побывал в КНДР и рассказал о 5 странностях, которые повергли его в шок Российский турист побывал в КНДР и рассказал о 5 странностях, которые повергли его в шок

Что вас точно удивит в Северной Корее

Maxim
Общее число зверя Общее число зверя

Как народ разом теряет человеческий облик

Weekend
Пикап Dongfeng DF6. Navara для российского рынка Пикап Dongfeng DF6. Navara для российского рынка

Китайский пикап Dongfeng DF6 будит самые приятные воспоминания

4x4 Club
Психологический тест: что встало у вас на пути к успеху? Выберите бабочку и узнайте ответ Психологический тест: что встало у вас на пути к успеху? Выберите бабочку и узнайте ответ

Что делать, если уже очень долгое время не можете достичь желаемого?

ТехИнсайдер
5 ошибок, которые могут привести к разводу после 20 лет брака 5 ошибок, которые могут привести к разводу после 20 лет брака

Что такое «серый», или «седой» развод?

Psychologies
Не вступать в старость без любви: почему возраст пугает и как научиться его принимать Не вступать в старость без любви: почему возраст пугает и как научиться его принимать

Глава из книги «Возраст: Инструкция по применению»

Forbes
Ребенок за штурвалом: страшная катастрофа Airbus A310 авиакомпании «Аэрофлот», которая унесла жизни 75 человек Ребенок за штурвалом: страшная катастрофа Airbus A310 авиакомпании «Аэрофлот», которая унесла жизни 75 человек

Эта авивкатастрофа заняла первое место в рейтинге «самых нелепых»

ТехИнсайдер
Что такое глутатион и почему это вещество так важно для организма? Что такое глутатион и почему это вещество так важно для организма?

Глутатион: полезные свойства антиоксиданта и как его восполнять

Psychologies
«Память»: драма с Джессикой Честейн о том, как мы переживаем травмы и забываем их «Память»: драма с Джессикой Честейн о том, как мы переживаем травмы и забываем их

Как режиссер Мишель Франко говорит о проживании трагедии в фильме «Память»

Forbes
День, неделя, месяц: сколько нужно общаться онлайн перед первым свиданием День, неделя, месяц: сколько нужно общаться онлайн перед первым свиданием

Нужна ли долгая переписка перед тем, как согласиться на живое свидание?

Psychologies
«Почему мне не рассказали это в 13 лет?»: чему важно научить девочек сегодня «Почему мне не рассказали это в 13 лет?»: чему важно научить девочек сегодня

Какие знания нужны девочкам сегодня?

Forbes
Как придать обивке мебели восхитительный свежий аромат: 5 лайфхаков профессиональных клинеров Как придать обивке мебели восхитительный свежий аромат: 5 лайфхаков профессиональных клинеров

Как сделать так, чтобы в гостиной всегда восхитительно пахло?

VOICE
Посол Советского Союза Посол Советского Союза

В истории были женщины, которые волею судьбы играли роль посла

Знание – сила
Наука в фантастике: эпизоды истории Наука в фантастике: эпизоды истории

Утопия Богданова не стала образцом для общества, но его романы перечитывали

Наука и жизнь
История, как женщина в Чехии нашла клад со средневековыми монетами! Вас поразит их количество История, как женщина в Чехии нашла клад со средневековыми монетами! Вас поразит их количество

Обнаруженные серебряные монеты, известные как денье

ТехИнсайдер
Солнце в бокале Солнце в бокале

Лучшим выбором для романтического ужина будут игристые и красные вина

Лиза
Можно ли съесть слишком «много» белка Можно ли съесть слишком «много» белка

Задумывались ли вы когда-нибудь, не может ли избыток белка стать проблемой?

ТехИнсайдер
Каннский кинофестиваль–2024. Британская драма «Птица» с Барри Кеоганом и Францом Роговски Каннский кинофестиваль–2024. Британская драма «Птица» с Барри Кеоганом и Францом Роговски

На 77-м Каннском кинофестивале состоялась премьера фильма «Птица»

СНОБ
Москва по-собянински: азиатский город с архитектурными доминантами и фасадами Москва по-собянински: азиатский город с архитектурными доминантами и фасадами

Какую Москву хочет построить Сергей Собянин?

Монокль
«Покуда я тебя не убью»: реальная история медсестры, которая три года жила с маньяком «Покуда я тебя не убью»: реальная история медсестры, которая три года жила с маньяком

«Покуда я тебя не убью» — британский мини-сериал в жанре тру-крайм

Forbes
Неочевидная болезнь, которая может вас убить: когда нужно проверить функцию щитовидной железы Неочевидная болезнь, которая может вас убить: когда нужно проверить функцию щитовидной железы

Если вы быстро устаете, а нервная система сбоит — проверьте щитовидную железу

ТехИнсайдер
Экспромт-маринад Экспромт-маринад

Новые оттенки вкуса маринадов для шашлыков покорят всех!

Лиза
«Не слишком ли много мы думаем?»: как правильно потреблять и перерабатывать информацию «Не слишком ли много мы думаем?»: как правильно потреблять и перерабатывать информацию

Похоже, мозг не справляется с тем валом информации, который обрушивается на нас

Psychologies
Следите за рукой Следите за рукой

Завораживающий сюрреализм: история офтальмолога, ставшего модным художником

RR Люкс.Личности.Бизнес.
Родиной баобабов назвали Мадагаскар Родиной баобабов назвали Мадагаскар

Общий предок баобабов появился на Мадагаскаре 41,1 миллиона лет назад

N+1
Открыть в приложении