Исследователи из DeepMind разработали мультимодальную нейросеть

N+1Hi-Tech

Нейросеть от DeepMind научилась решать 604 задачи разных типов

Исследователи из DeepMind разработали мультимодальную нейросеть, способную выполнять задачи разного типа. Например, она умеет управлять роботом, играть в игры для Atari, писать текст и описывать фотографии. Статья об алгоритме опубликована на arXiv.org, также авторы рассказали о нем на сайте DeepMind.

Григорий Копиев

DeepMind

В 2017 году исследователи из Google Brain представили нейросетевую архитектуру Transformer, отличительной особенностью которого стало широкое использование механизма внимания. Это позволяет нейросети гораздо лучше понимать контекст слов и предложений, что в свою очередь позволило добиться большого прогресса в целом в области обработки естественного языка. Один из самых известных примеров этого прогресса: модель GPT-3 от OpenAI. Оказалось, что если обучить модель на огромном массиве текстов, она выучит хорошее представления языка и того, как должны выглядеть тексты, после чего ее можно быстро и на очень небольшом объеме данных дообучить до конкретной задачи. Причем эта задача не обязательно должна быть текстовой: выяснилось, что GPT-3 умеет выполнять базовые арифметические операции.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

На средневековых предметах и росписях из Китая нашли желтые краски из растений На средневековых предметах и росписях из Китая нашли желтые краски из растений

В средневековом Китае использовали краски из гарцинии и китайского бархата

N+1
Игры со смертью и небесный роман Амелии Эрхарт Игры со смертью и небесный роман Амелии Эрхарт

Амелия Эрхарт буквально играла с небом и «отобрала» его у мужчин

Вокруг света
Что делают пилоты, если самолет попадает в зону турбулентности: неожиданный ответ Что делают пилоты, если самолет попадает в зону турбулентности: неожиданный ответ

Может ли тряска привести к авиакатастрофе?

ТехИнсайдер
Как Material Security добился оценки в $1,1 млрд, защищая компании от взлома почты Как Material Security добился оценки в $1,1 млрд, защищая компании от взлома почты

Material Security сможет занять независимую нишу в мире кибербезопасности

Forbes
5 способов укрепить свой внутренний стержень 5 способов укрепить свой внутренний стержень

Как развивать внутреннюю опору, которая поможет справляться с трудностями

Psychologies
Свои виды Свои виды

Три яхтенных маршрута, стартующие в Москве и Петербурге

Robb Report
Быстрый способ убрать пивной живот в 6 простых шагов: как похудеть к лету Быстрый способ убрать пивной живот в 6 простых шагов: как похудеть к лету

Как уменьшить объем живота и привести себя в форму?

ТехИнсайдер
Я не трус, но я боюсь: как отстаивать себя, не боясь конфликтов? Я не трус, но я боюсь: как отстаивать себя, не боясь конфликтов?

В каких случаях отстаивание себя и своих интересов перерастает в ссору?

Psychologies
Когда лампочка не зажглась: великие провалы Томаса Эдисона Когда лампочка не зажглась: великие провалы Томаса Эдисона

Даже у Томаса Эдисона некоторые идеи оборачивались неудачами

Вокруг света
Любовная травма: как ее обнаружить и исцелить Любовная травма: как ее обнаружить и исцелить

Что такое «любовная травма»

Psychologies
Ваше плодородие Ваше плодородие

«Нива» — лучшее, что случалось с российским автопромом

Эксперт
Не впадать в зеленую тоску: как Дрю Бэрримор продвигает экоинициативы Не впадать в зеленую тоску: как Дрю Бэрримор продвигает экоинициативы

Тональность высказываний — шанс достучаться до самой широкой аудитории

Forbes
От Древней Греции до холодной войны: краткая история экономических санкций От Древней Греции до холодной войны: краткая история экономических санкций

Мы слышим слово «санкции» едва ли не каждый день. Но с чего все это началось?

Вокруг света
Кто помог маме неизлечимо больного ребенка отстоять интересы сына и человеческое достоинство Кто помог маме неизлечимо больного ребенка отстоять интересы сына и человеческое достоинство

Как живут дети с миодистрофией Дюшенна

СНОБ
Почему большинство блюд рекомендуют готовить при 180 °С Почему большинство блюд рекомендуют готовить при 180 °С

Какую роль играет температура в приготовлении пищи

ТехИнсайдер
Потерять, чтобы найти Потерять, чтобы найти

Как заполнить возникшую пустоту и разглядеть за ней новые возможности?

Psychologies
Верхом на реакторе: как в СССР разрабатывали секретный атомный самолет Верхом на реакторе: как в СССР разрабатывали секретный атомный самолет

Атомные самолеты были хороши всем, кроме гигантской радиации

ТехИнсайдер
«Продолжай, детка»: как TikTok Live стал «стрип-клубом с 15-летними подростками» «Продолжай, детка»: как TikTok Live стал «стрип-клубом с 15-летними подростками»

Почему TikTok все чаще оказывается в центре внимания правоохранителей

Forbes
«В науке ошибиться — это получить знание»: 11 вопросов вулканологу «В науке ошибиться — это получить знание»: 11 вопросов вулканологу

Исследователь поделился мнением о перспективах научного туризма в России

Вокруг света
Даже на 80 кг! Реальные истории людей, похудевших на фастфуде Даже на 80 кг! Реальные истории людей, похудевших на фастфуде

Для похудения вовсе не обязательно следовать принципам здорового питания

VOICE
От зеленого до красного. 6 оттенков, которые должны быть в твоем рационе От зеленого до красного. 6 оттенков, которые должны быть в твоем рационе

Какие именно цвета должны чаще присутствовать в твоей тарелке и почему?

Лиза

Фэшн-провалы Кендалл Дженнер

VOICE
«Меня не проведешь»: почему мы не верим, что нами можно манипулировать «Меня не проведешь»: почему мы не верим, что нами можно манипулировать

Отрывок книги Тали Шарот «Иллюзии человеческого мозга»

Forbes
Роскошь на пороге гибели: назван неожиданный ингредиент вина, которое пила иудейская знать Роскошь на пороге гибели: назван неожиданный ингредиент вина, которое пила иудейская знать

Вельможи наслаждались дорогим напитком перед гибелью царства

Вокруг света
Как выбрать недорогой спальный мешок Как выбрать недорогой спальный мешок

При покупке спальника нужно применять инженерный подход

Maxim
Почему 4 мая — всемирный День «Звездных войн» Почему 4 мая — всемирный День «Звездных войн»

«May the Fourth be with you» — что это значит и причем здесь Маргарет Тэтчер?

РБК
Команда «Молодости» нашей: как энтузиасты влюбляют людей в Горный Алтай Команда «Молодости» нашей: как энтузиасты влюбляют людей в Горный Алтай

Если вы никогда не были в Горном Алтае, мы даже вам немного завидуем

РБК
Марк Оже: «Старости не существует» Марк Оже: «Старости не существует»

Антрополог Марк Оже делится своим взглядом на старение

Psychologies
Новый японский динозавр помог разобраться в функциях когтей теризинозавров Новый японский динозавр помог разобраться в функциях когтей теризинозавров

Продвинутые теризинозавры при помощи когтей подтягивали к себе ветви деревьев

N+1
10 рабочих советов, как скинуть вес, от людей, которым удалось победить ожирение 10 рабочих советов, как скинуть вес, от людей, которым удалось победить ожирение

Только проверенные жизнью советы по похудению от реальных людей

Maxim
Открыть в приложении