Исследователи из DeepMind разработали мультимодальную нейросеть

N+1Hi-Tech

Нейросеть от DeepMind научилась решать 604 задачи разных типов

Исследователи из DeepMind разработали мультимодальную нейросеть, способную выполнять задачи разного типа. Например, она умеет управлять роботом, играть в игры для Atari, писать текст и описывать фотографии. Статья об алгоритме опубликована на arXiv.org, также авторы рассказали о нем на сайте DeepMind.

Григорий Копиев

DeepMind

В 2017 году исследователи из Google Brain представили нейросетевую архитектуру Transformer, отличительной особенностью которого стало широкое использование механизма внимания. Это позволяет нейросети гораздо лучше понимать контекст слов и предложений, что в свою очередь позволило добиться большого прогресса в целом в области обработки естественного языка. Один из самых известных примеров этого прогресса: модель GPT-3 от OpenAI. Оказалось, что если обучить модель на огромном массиве текстов, она выучит хорошее представления языка и того, как должны выглядеть тексты, после чего ее можно быстро и на очень небольшом объеме данных дообучить до конкретной задачи. Причем эта задача не обязательно должна быть текстовой: выяснилось, что GPT-3 умеет выполнять базовые арифметические операции.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Австралийцы отыскали новую популяцию вымирающих беличьих кускусов Австралийцы отыскали новую популяцию вымирающих беличьих кускусов

Экологи обнаружили в Косцюшко новую популяцию беличьих кускусов

N+1
Небожители и чудовища: как представляли чужаков в корейских мифах Небожители и чудовища: как представляли чужаков в корейских мифах

«Фантазии о чужаках» — одна из характерных черт мифологических историй

Вокруг света
Стремительный разгон и быстрый взлет: самые короткие взлетно-посадочные полосы в мире Стремительный разгон и быстрый взлет: самые короткие взлетно-посадочные полосы в мире

Аэропорты, взлетно-посадочные полосы которых проверяют пилотов на прочность

ТехИнсайдер
Художник Миша Никатин — о том, зачем быть рок-звездой мира искусства Художник Миша Никатин — о том, зачем быть рок-звездой мира искусства

Художник Миша Никатин — любитель подмечать приметы окружающей действительности

РБК
Я вижу, о чем вы думаете Я вижу, о чем вы думаете

Как агенты ФБР читают людей

kiozk originals
9 самых полезных продуктов для нашего тела — налегай на них этим летом! 9 самых полезных продуктов для нашего тела — налегай на них этим летом!

Какие продукты следует включить в свой рацион уже сегодня?

VOICE
Сложнее, чем кажется: ученые раскрыли ранее неизвестный язык шимпанзе Сложнее, чем кажется: ученые раскрыли ранее неизвестный язык шимпанзе

Крики приматов помогут понять, как формировался человеческий язык

Вокруг света
Моя ужасная мама: 10 худших матерей в истории человечества Моя ужасная мама: 10 худших матерей в истории человечества

В истории найдется немало матерей, чьи поступки ужаснут любого

Вокруг света
Внутри египетской мумии ястреба оказались останки священного ибиса Внутри египетской мумии ястреба оказались останки священного ибиса

Исследователи изучили мумию птицы, которая считалась останками ястреба

N+1
Что нужно знать об антидепрессантах. Часть 2 Что нужно знать об антидепрессантах. Часть 2

Какими бывают побочные эффекты от антидепрессантов

СНОБ
Как выбрать материнскую плату для домашнего, офисного, игрового компьютера? Как выбрать материнскую плату для домашнего, офисного, игрового компьютера?

Материнская плата: размер, сокет и чипсет — как выбрать?

CHIP
«Не могу решиться на развод: боюсь, что жизнь с любовником меня тоже разочарует» «Не могу решиться на развод: боюсь, что жизнь с любовником меня тоже разочарует»

Как опыт неудачных отношения сказывается на нас? История читательницы

Psychologies
«Децентрализованное общество»: Виталик Бутерин и его товарищи нашли душу следующего интернета «Децентрализованное общество»: Виталик Бутерин и его товарищи нашли душу следующего интернета

«Децентрализованное общество: в поиске души Web3» — о чем этот манифест?

VC.RU
Почему мы не запоминаем все наши сны? Почему мы не запоминаем все наши сны?

Забывать сны — это нормально или нет?

ТехИнсайдер
Наталья Аринбасарова. Чистый лист Наталья Аринбасарова. Чистый лист

Наталья Аринбасарова рассказывает о своем первом муже Андрее Кончаловском

Караван историй
Что такое интервальное голодание и почему оно вредно Что такое интервальное голодание и почему оно вредно

Как на самом деле работает голод

РБК
Как выбрать хорошую мультиварку: подробная инструкция Как выбрать хорошую мультиварку: подробная инструкция

Кто не работает, тот не ест, но кто приготовит поесть, пока ты на работе?

CHIP
С кошками не так: от какой болезни защищает детей присутствие собаки в доме С кошками не так: от какой болезни защищает детей присутствие собаки в доме

Ученые выявили необычную особенность домашних животных

Вокруг света
5 увлекательных книг об истории России 5 увлекательных книг об истории России

Подборка книг, авторы которых расскажут о возникновении и становлении России

Популярная механика
Другая Белоруссия: как Станислав Шушкевич проиграл популистам и «хозяйственникам» Другая Белоруссия: как Станислав Шушкевич проиграл популистам и «хозяйственникам»

Каким политиком был Станислав Шушкевич

Forbes
Царица ночи: как живет самая темнокожая в мире модель из «нации воинов» Царица ночи: как живет самая темнокожая в мире модель из «нации воинов»

Чёрная как уголь кожа, упорство и уверенность в себе сделали эту девушку звездой

Cosmopolitan
Твои первые губы: главные вопросы об уколах красоты — отвечает косметолог Твои первые губы: главные вопросы об уколах красоты — отвечает косметолог

И хочется, и колется… Страшно делать инъекции красоты? Главные вопросы

VOICE
Настоящая жесть: история консервной банки Настоящая жесть: история консервной банки

Консервная банка стала одним из изобретений, изменивших мир

Вокруг света
Стреляет в ухе Стреляет в ухе

Не лиши себя нечаянно слуха

Лиза
Жених не узнает: невесты до и после свадебного макияжа (новые фото) Жених не узнает: невесты до и после свадебного макияжа (новые фото)

Удивительные фото невест до и после свадебного макияжа

VOICE
Быть достаточно хорошим родителем: это как? Быть достаточно хорошим родителем: это как?

Что это значит, быть хорошими родителями?

Psychologies
6 проблем с поведением у детей, которые нельзя игнорировать 6 проблем с поведением у детей, которые нельзя игнорировать

На некоторые поступки детей нельзя закрывать глаза

Psychologies
Почему мужчины не ценят заботу и доброту? Почему мужчины не ценят заботу и доброту?

Почему же от мужчин страдают добрые и заботливые девушки?

Psychologies
Жуткие фото, сделанные при еще более жутких обстоятельствах Жуткие фото, сделанные при еще более жутких обстоятельствах

Не всегда понятно, чего же страшного в этих снимках, но они реально пугают

Maxim
«Мне жалко его, очень жалко» «Мне жалко его, очень жалко»

Сергей Бодров-старший о своем сыне и своем новом фильме «Дышите свободно»

Weekend
Открыть в приложении