Исследователи из DeepMind разработали мультимодальную нейросеть

N+1Hi-Tech

Нейросеть от DeepMind научилась решать 604 задачи разных типов

Исследователи из DeepMind разработали мультимодальную нейросеть, способную выполнять задачи разного типа. Например, она умеет управлять роботом, играть в игры для Atari, писать текст и описывать фотографии. Статья об алгоритме опубликована на arXiv.org, также авторы рассказали о нем на сайте DeepMind.

Григорий Копиев

DeepMind

В 2017 году исследователи из Google Brain представили нейросетевую архитектуру Transformer, отличительной особенностью которого стало широкое использование механизма внимания. Это позволяет нейросети гораздо лучше понимать контекст слов и предложений, что в свою очередь позволило добиться большого прогресса в целом в области обработки естественного языка. Один из самых известных примеров этого прогресса: модель GPT-3 от OpenAI. Оказалось, что если обучить модель на огромном массиве текстов, она выучит хорошее представления языка и того, как должны выглядеть тексты, после чего ее можно быстро и на очень небольшом объеме данных дообучить до конкретной задачи. Причем эта задача не обязательно должна быть текстовой: выяснилось, что GPT-3 умеет выполнять базовые арифметические операции.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Матери шимпанзе научили потомков общению Матери шимпанзе научили потомков общению

Этологи обнаружили, что коммуникация шимпанзе формируется под влиянием матери

N+1
«В жизни нет пьедестала» «В жизни нет пьедестала»

Маргарита Аброськина — о своих героинях и конкуренции

OK!
Абонент не в сети: почему цифровой детокс и отказ от технологий не всегда помогают Абонент не в сети: почему цифровой детокс и отказ от технологий не всегда помогают

Как разумно регулировать свое поведение в соцсетях и в обращении с технологиями

Forbes
Монеты с места кораблекрушения XV века рассказали о денежных проблемах датского короля Монеты с места кораблекрушения XV века рассказали о денежных проблемах датского короля

Деньги были найдены среди обломков корабля «Грипсхунден»

N+1
Субмарининг в отношениях: когда партнер исчезает и появляется как подводная лодка Субмарининг в отношениях: когда партнер исчезает и появляется как подводная лодка

Субмарининг: что это такое и почему люди так себя ведут?

VOICE
Сексуальные привычки животных: 5 самых необычных способов оплодотворения в дикой природе Сексуальные привычки животных: 5 самых необычных способов оплодотворения в дикой природе

Самые странные способы оплодотворить свою вторую половинку в животном мире

Популярная механика
Другая Белоруссия: как Станислав Шушкевич проиграл популистам и «хозяйственникам» Другая Белоруссия: как Станислав Шушкевич проиграл популистам и «хозяйственникам»

Каким политиком был Станислав Шушкевич

Forbes
Роскошь на пороге гибели: назван неожиданный ингредиент вина, которое пила иудейская знать Роскошь на пороге гибели: назван неожиданный ингредиент вина, которое пила иудейская знать

Вельможи наслаждались дорогим напитком перед гибелью царства

Вокруг света
От Древней Греции до холодной войны: краткая история экономических санкций От Древней Греции до холодной войны: краткая история экономических санкций

Мы слышим слово «санкции» едва ли не каждый день. Но с чего все это началось?

Вокруг света
«Мужчина не хочет жениться, я от него съехала, а он не зовет обратно» «Мужчина не хочет жениться, я от него съехала, а он не зовет обратно»

Хотите ли быть в отношениях, где вы все время какая-то «недостаточно хорошая»?

Psychologies
«Мятежная клетка: Рак, эволюция и новая наука о жизни». Как мы пришли к эволюционно-экологическому осмыслению рака «Мятежная клетка: Рак, эволюция и новая наука о жизни». Как мы пришли к эволюционно-экологическому осмыслению рака

Отрывок из книги об онкологии «Мятежная клетка» — как изучается рак у животных?

N+1
Сушите весла: 5 корабельных бунтов, которые вошли в историю Сушите весла: 5 корабельных бунтов, которые вошли в историю

К восстанию корабельных команд в разные века приводили разные причины

Вокруг света
Действующий персонаж: как зарабатывать на героях метавселенной Действующий персонаж: как зарабатывать на героях метавселенной

Основатель Superplastic Пол Будниц создает персонажей в метавселенной

Forbes
Главные провалы: российские народные машины, которые не увидели свет Главные провалы: российские народные машины, которые не увидели свет

На какие машины планировалось пересадить россиян, и почему план не удался

РБК
TESS отыскал новую экзопланету-компаньона внутри орбиты горячего юпитера TESS отыскал новую экзопланету-компаньона внутри орбиты горячего юпитера

Эта экзопланета не вписывается в имеющиеся теории формирования горячих юпитеров

N+1
Отчаянные головоломки: непредсказуемые магниты Отчаянные головоломки: непредсказуемые магниты

Несколько лет назад была очень популярна игрушка неокуб

Наука и жизнь
Как защититься от укуса клеща на природе: самые важные лайфхаки Как защититься от укуса клеща на природе: самые важные лайфхаки

Заражения энцефалитом можно избежать, если знать несколько важных вещей

ТехИнсайдер
Как осветлить волосы и выбрать краску: советы колориста Как осветлить волосы и выбрать краску: советы колориста

Как правильно осветлить волосы?

РБК
Как выжить в эпоху перемен: советы от бизнес-ассистентки Джеффа Безоса и Эрика Шмидта Как выжить в эпоху перемен: советы от бизнес-ассистентки Джеффа Безоса и Эрика Шмидта

Какие стратегии помогают найти работу

Forbes
Во Франции раскопали поселение железного века с большим некрополем и кладом Во Франции раскопали поселение железного века с большим некрополем и кладом

Жители древнего поселения во Франции оказались умелыми металлургами

N+1
Рассеянный склероз: как сохранить профессию и качество жизни Рассеянный склероз: как сохранить профессию и качество жизни

Что такое рассеянный склероз и как можно помочь людям с этим заболеванием?

РБК
Еще 10 неожиданных привычек, которые выдают в тебе интеллектуала Еще 10 неожиданных привычек, которые выдают в тебе интеллектуала

Вторая часть культовой подборки о странностях умных людей

Maxim
Учимся у визажистов Крыгиной: макияж для нависшего века на каждый день Учимся у визажистов Крыгиной: макияж для нависшего века на каждый день

Как стоит краситься девушкам с нависшим веком. Скорее смотри!

VOICE
Неприятные спутники: какие психические состояния часто сопровождают депрессию Неприятные спутники: какие психические состояния часто сопровождают депрессию

Отрывок из книги «Так себе» — о заболвениях-спутниках депрессии

Forbes
Настоящая жесть: история консервной банки Настоящая жесть: история консервной банки

Консервная банка стала одним из изобретений, изменивших мир

Вокруг света
«Заговор военных»: анатомия мифа «Заговор военных»: анатомия мифа

Как появилась легенда о некоем «заговоре военных» для свержения Сталина

Дилетант
Физики намагнитили гелиевый газ с помощью света Физики намагнитили гелиевый газ с помощью света

Физики навели наносекундную намагниченность на газ атомов гелия с помощью света

N+1
5 лучших пород кошек: если вы не знаете, кого выбрать 5 лучших пород кошек: если вы не знаете, кого выбрать

Все кошки хороши, но какая порода подойдет тебе?

ТехИнсайдер
Что читать в выходные: 10 легких романов Что читать в выходные: 10 легких романов

Захватывающие книги о любви, путешествиях и попытках начать жизнь с нуля

СНОБ
«Белый царь для народов Востока»: как бурятский врач Китай завоевывал «Белый царь для народов Востока»: как бурятский врач Китай завоевывал

Петр Бадмаев предложил поистине наполеоновский план российской экспансии в Азию

Вокруг света
Открыть в приложении