Исследователи из DeepMind разработали мультимодальную нейросеть

N+1Hi-Tech

Нейросеть от DeepMind научилась решать 604 задачи разных типов

Исследователи из DeepMind разработали мультимодальную нейросеть, способную выполнять задачи разного типа. Например, она умеет управлять роботом, играть в игры для Atari, писать текст и описывать фотографии. Статья об алгоритме опубликована на arXiv.org, также авторы рассказали о нем на сайте DeepMind.

Григорий Копиев

DeepMind

В 2017 году исследователи из Google Brain представили нейросетевую архитектуру Transformer, отличительной особенностью которого стало широкое использование механизма внимания. Это позволяет нейросети гораздо лучше понимать контекст слов и предложений, что в свою очередь позволило добиться большого прогресса в целом в области обработки естественного языка. Один из самых известных примеров этого прогресса: модель GPT-3 от OpenAI. Оказалось, что если обучить модель на огромном массиве текстов, она выучит хорошее представления языка и того, как должны выглядеть тексты, после чего ее можно быстро и на очень небольшом объеме данных дообучить до конкретной задачи. Причем эта задача не обязательно должна быть текстовой: выяснилось, что GPT-3 умеет выполнять базовые арифметические операции.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Неустойчивость Рэлея — Плато заставила квантовую жидкость разделиться на капли Неустойчивость Рэлея — Плато заставила квантовую жидкость разделиться на капли

Физики увидели, как квантовая жидкость разделилась на несколько отдельных капель

N+1
USS Vermont: Ноев ковчег на военной службе USS Vermont: Ноев ковчег на военной службе

Если вы не верите в Ноя и его ковчег, то прямо сейчас поверьте

Популярная механика
Дипфейк и верификация видео: как не стать жертвой обмана Дипфейк и верификация видео: как не стать жертвой обмана

Как обезопасить себя от дипфейков и мошеннических видео

Правила жизни
10 мощных российских тракторов: отечественная техника, за которую не стыдно 10 мощных российских тракторов: отечественная техника, за которую не стыдно

В России делаются свои трактора, причём на мировом уровне

ТехИнсайдер
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
Удушающая забота: что такое синдром Мюнхгаузена и почему он опасен Удушающая забота: что такое синдром Мюнхгаузена и почему он опасен

Расстройство, при котором человек имитирует симптомы реальных заболеваний

Forbes
Икра хариуса, галаган и конина: какие локальные продукты станут новыми деликатесами Икра хариуса, галаган и конина: какие локальные продукты станут новыми деликатесами

Какие локальные продукты заслужат звание новых российских деликатесов

Forbes
Как Джонни Депп стал первым мужчиной Вайноны Райдер и разрушил ее жизнь Как Джонни Депп стал первым мужчиной Вайноны Райдер и разрушил ее жизнь

Джонни Депп и Вайнона Райдер — они были самой красивой голливудской парой 90-х

VOICE
12 ключей к благополучию 12 ключей к благополучию

Благополучие складывается день за днем из мелких, но важных деталей

Psychologies
Собраться с силами: 10 лучших мотивационных книг для саморазвития Собраться с силами: 10 лучших мотивационных книг для саморазвития

Лучшие мотивирующие книги, которые стоит прочитать всем

Forbes
7 популярных проблем со здоровьем маленьких собак 7 популярных проблем со здоровьем маленьких собак

Нюансы здоровья маленьких собак, о которых точно стоит знать

ТехИнсайдер
Худрук театра Моссовета Евгений Марчелли: Худрук театра Моссовета Евгений Марчелли:

Худрук театра Моссовета Евгений Марчелли не сторонник радикальных перемен

Караван историй
Это надо увидеть: 10 великих фильмов о любви, которые растопят ваше сердце Это надо увидеть: 10 великих фильмов о любви, которые растопят ваше сердце

Трогательные, иногда трагические, порой смешны фильмы о любви

VOICE
Мы оба «альфы»: как остановить конкуренцию с супругом Мы оба «альфы»: как остановить конкуренцию с супругом

Иногда в отношениях появляется соперничество. Почему и как этого избежать?

Psychologies
Яркий Дагестан Яркий Дагестан

Дагестан — главные достопримечательности и высшая точка Южного Кавказа

Отдых в России
Что лучше: контактные линзы или очки. Выбор неочевиден Что лучше: контактные линзы или очки. Выбор неочевиден

Вокруг использования очков и линз ходит множество мифов. Как определиться?

ТехИнсайдер
Друг империи и враг декабристов: главный жандарм России Александр Бенкендорф Друг империи и враг декабристов: главный жандарм России Александр Бенкендорф

Граф Бенкендорф широко известен как «гонитель и душитель».

Вокруг света
Залысины и оспины: как красотка Марго Робби дала изуродовать себя для роли Залысины и оспины: как красотка Марго Робби дала изуродовать себя для роли

Ты видела отчаянно уродливую Марго Робби?

VOICE
50 – это новые 30? 50 – это новые 30?

За последние десятилетия возрастные рамки «раздвинулись» – старение отодвинулось

Лиза
Центр Галактики: как астрономы рассмотрели главную черную дыру Млечного Пути Центр Галактики: как астрономы рассмотрели главную черную дыру Млечного Пути

Как ученые получили снимок сверхмассивной черной дыры и почему это так важно?

Forbes
Кто создает в России магазины приложений на замену App Store и Google Play Кто создает в России магазины приложений на замену App Store и Google Play

Кто создает NashStore и RuStore и с какими проблемами они уже столкнулись?

Forbes
Большое видится на расстоянии: 5 открытий, сделанных на Земле при помощи спутников Большое видится на расстоянии: 5 открытий, сделанных на Земле при помощи спутников

Запущенные на орбиту аппараты помогают находить неизвестные горы и города

Вокруг света
За что любят Тимоти Шаламе: эволюция от соседского парня до иконы стиля За что любят Тимоти Шаламе: эволюция от соседского парня до иконы стиля

с чего начиналась головокружительная карьера Тимоти Шаламе

VOICE
Беспилотники в тяжелой промышленности: цифровые решения по видеоаналитике «Норникеля» Беспилотники в тяжелой промышленности: цифровые решения по видеоаналитике «Норникеля»

Как летающий аппарат с датчиками и камерами используется в строительстве

ТехИнсайдер
Банановая диета для похудения на 3 и 7 дней: меню и результаты Банановая диета для похудения на 3 и 7 дней: меню и результаты

Пробовали ли вы худеть на бананах?

VOICE
Нумерология места Нумерология места

О чем говорит название города, в котором ты живешь

Лиза
В чем отличие треккинговых кроссовок от обычных и почему они нужны каждому мужчине В чем отличие треккинговых кроссовок от обычных и почему они нужны каждому мужчине

Почему треккинговые кроссовки такие удобные?

Maxim
Ашот Серопян, RBS: «Сегодня консалтинг в нашем лице — это целая экосистема» Ашот Серопян, RBS: «Сегодня консалтинг в нашем лице — это целая экосистема»

Какие качества позволяют проходить через кризисы и чем могут помочь консультанты

Forbes
Как не просыпаться по утрам разбитым Как не просыпаться по утрам разбитым

Как перестать откладывать будильник и начать жить

Maxim
Мукой обсыпались? Звезды, которых подвела пудра и вспышка — фото вблизи Мукой обсыпались? Звезды, которых подвела пудра и вспышка — фото вблизи

Вспышка фотокамер может сыграть с макияжем злую шутку

VOICE
Открыть в приложении