Исследователи из DeepMind разработали мультимодальную нейросеть

N+1Hi-Tech

Нейросеть от DeepMind научилась решать 604 задачи разных типов

Исследователи из DeepMind разработали мультимодальную нейросеть, способную выполнять задачи разного типа. Например, она умеет управлять роботом, играть в игры для Atari, писать текст и описывать фотографии. Статья об алгоритме опубликована на arXiv.org, также авторы рассказали о нем на сайте DeepMind.

Григорий Копиев

DeepMind

В 2017 году исследователи из Google Brain представили нейросетевую архитектуру Transformer, отличительной особенностью которого стало широкое использование механизма внимания. Это позволяет нейросети гораздо лучше понимать контекст слов и предложений, что в свою очередь позволило добиться большого прогресса в целом в области обработки естественного языка. Один из самых известных примеров этого прогресса: модель GPT-3 от OpenAI. Оказалось, что если обучить модель на огромном массиве текстов, она выучит хорошее представления языка и того, как должны выглядеть тексты, после чего ее можно быстро и на очень небольшом объеме данных дообучить до конкретной задачи. Причем эта задача не обязательно должна быть текстовой: выяснилось, что GPT-3 умеет выполнять базовые арифметические операции.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Австралийцы отыскали новую популяцию вымирающих беличьих кускусов Австралийцы отыскали новую популяцию вымирающих беличьих кускусов

Экологи обнаружили в Косцюшко новую популяцию беличьих кускусов

N+1
Ночной «заплыв» Ночной «заплыв»

В каком возрасте ребёнок может оставаться сухим всю ночь?

Здоровье
Дипфейк и верификация видео: как не стать жертвой обмана Дипфейк и верификация видео: как не стать жертвой обмана

Как обезопасить себя от дипфейков и мошеннических видео

Правила жизни
8 отличных фильмов, если хочется погрустить 8 отличных фильмов, если хочется погрустить

Если хочется погрустить, то делайте это в компании трогательных историй

Правила жизни
Как путешествия меняют нас: 5 не заметных глазу трансформаций Как путешествия меняют нас: 5 не заметных глазу трансформаций

Как путешествия влияют на наше ментальное и физическое здоровье?

ТехИнсайдер
Как художник Винсент Ван Гог добился феноменального успеха: мнение ученых Как художник Винсент Ван Гог добился феноменального успеха: мнение ученых

Почему Винсент Ван Гог стал знаменитым только под конец своей жизни?

ТехИнсайдер
Как перестать заедать стресс? Как перестать заедать стресс?

Заедать стресс абсолютно естественно для людей. Но как перестать?

Maxim
Зоя Яровицына: «У ответственности вкус брокколи» Зоя Яровицына: «У ответственности вкус брокколи»

Как взятие ответственности помогает нам повзрослеть?

Psychologies
Внутри египетской мумии ястреба оказались останки священного ибиса Внутри египетской мумии ястреба оказались останки священного ибиса

Исследователи изучили мумию птицы, которая считалась останками ястреба

N+1
Как жадность и расчетливость помогли Полу Гетти создать крупнейший частный музей Как жадность и расчетливость помогли Полу Гетти создать крупнейший частный музей

Отрывок из альбома о Музее Гетти

Forbes
Шопинг и слезы: 13 способов утешить подругу после расставания с парнем Шопинг и слезы: 13 способов утешить подругу после расставания с парнем

Шпаргалка, как помочь своей подруге после расставания

VOICE
Почему не растет борода и как это исправить Почему не растет борода и как это исправить

Ускорить рост бороды помогут правильная диета и уход за кожей

РБК
«Холодная американская машина»: кто пострадает от банкротства «дочки» Google в России «Холодная американская машина»: кто пострадает от банкротства «дочки» Google в России

Российская «дочка» Google решила начать процедуру банкротства

Forbes
Одна вокруг света: автополомка в джунглях и открытие границ Одна вокруг света: автополомка в джунглях и открытие границ

171-я серия о кругосветном путешествии москвички Ирины Сидоренко

Forbes
Цена бодрости: вред и польза энергетических напитков Цена бодрости: вред и польза энергетических напитков

Так ли вредны энергетические напитки, как о них говорят?

VOICE
Московский Нострадамус Московский Нострадамус

Это имя уже почти три столетия служит синонимом тайных знаний

Дилетант
Тихая убийца отношений: 2 способа победить рутину Тихая убийца отношений: 2 способа победить рутину

Рутина — «тихая убийца отношений», которую мы замечаем слишком поздно

Psychologies
Хозяева древних морей Хозяева древних морей

Кем были самые опасные морские хищники прошлого?

Вокруг света
Останки из Суздальского Ополья указали на плохое здоровье средневековых жителей поселения Останки из Суздальского Ополья указали на плохое здоровье средневековых жителей поселения

Ученые исследовали останки 26 человек с памятника Михали-3

N+1
Гонконг, Казахстан или Грузия: куда лучше перевозить IT-компанию из России Гонконг, Казахстан или Грузия: куда лучше перевозить IT-компанию из России

Преимущества и недостатки оформления бизнеса в Армении, Грузии, Узбекистане

Forbes
Почему в СССР тапочки прижились только после смерти Сталина Почему в СССР тапочки прижились только после смерти Сталина

Почему тапки прижились в СССР лишь в 60-х годах

Cosmopolitan
Критика патриархата по-модному. О российском сериале «Домашнее поле» Критика патриархата по-модному. О российском сериале «Домашнее поле»

«Домашнее поле» — понимания темы и профессионализма может быть недостаточно

СНОБ
История одной песни: «Smack My Bitch Up», The Prodigy, 1997 История одной песни: «Smack My Bitch Up», The Prodigy, 1997

Песня, в которой собрано столько всего неприличного, что даже боязно перечислять

Maxim
Эффективное утяжеление тренировки с гантелями для женщин в домашних условиях Эффективное утяжеление тренировки с гантелями для женщин в домашних условиях

Топ-10 упражнений для идеальной фигуры

Лиза
Как провести выходные или отпуск: Мурманск и окрестности Как провести выходные или отпуск: Мурманск и окрестности

Что посмотреть и попробовать в Мурманске

СНОБ
Орнитологи сфальсифицировали голосование галок за время вылета с ночевки Орнитологи сфальсифицировали голосование галок за время вылета с ночевки

Галки принимают решение покинуть место, основываясь на результатах голосования

N+1
На даче и на море На даче и на море

Камешки, вода, песок – отличные развивающие материалы для детей

Лиза
Как защититься от укуса клеща на природе: самые важные лайфхаки Как защититься от укуса клеща на природе: самые важные лайфхаки

Заражения энцефалитом можно избежать, если знать несколько важных вещей

ТехИнсайдер
Отказ от алкоголя: как бросить раз и навсегда Отказ от алкоголя: как бросить раз и навсегда

Даже если вы выпиваете понемногу, это все равно может превратиться в проблему

Psychologies
Энн Хэтауэй. В капкане славы Энн Хэтауэй. В капкане славы

Как Энн Хэтауэй столкнулась с беспрецедентной травлей, но вернула любовь публики

Караван историй
Открыть в приложении