Один метод обучения позволяет учить модели для работы с разными данными

N+1Hi-Tech

Исследователи из Meta (признана экстремистской организацией на территории РФ) разработали мультимодальный метод обучения нейросетей

Григорий Копиев

Meta (признана экстремистской организацией на территории РФ) AI

Исследователи из Meta (признана экстремистской организацией на территории РФ) AI (ранее Facebook (соцсеть признана в РФ экстремистской и запрещена) AI) разработали единый метод обучения нейросетей, подходящий для работы с изображениями, звуком и текстом. В нем используется две идентичные нейросети — учитель и ученик. Учитель получает полные входные данные, а ученик получает частичные и учится предсказывать внутреннее представление полной версии этих данных в модели-учителе. Модели, обученные таким методом, оказались лучше или сравнимы с моделями, обученные методами, специфичными для одного типа данных. Статья и краткое описание метода опубликованы на сайте Meta (признана экстремистской организацией на территории РФ) AI.

В последние годы исследователи в области машинного обучения все чаще используют обучение без учителя или самообучение. Особенно полезно оно когда необходимо использовать огромные объемы данных или обучать модель на задаче, для которой нет достаточных датасетов, например, для обучения языковой модели на редком языке. Один из самых ярких примеров такого типа обучения — GPT-3, которая обучалась на 570 гигабайтах текстов. Однако разработки в области самообучения, как правило, сосредоточены на одной модальности (одном типе данных), и методы обучения зачастую нельзя напрямую применить к другим модальностям.

Группа исследователей из Meta (признана экстремистской организацией на территории РФ) AI под руководством Майкла Аули (Michael Auli) разработала метод обучения, подходящий для разных типов данных. Разработчики использовали в качестве обучаемой модели для всех трех модальностей стандартный трансформер и добавляли к нему на вход специфичный энкодер для того или иного типа данных. Во время обучения используется две нейросетевых модели (учитель и ученик), но по сути они идентичны друг другу и отличаются тем,

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Перезапуск будущего. Как „починить“ нематериальную экономику» «Перезапуск будущего. Как „починить“ нематериальную экономику»

Связь между нематериальной экономикой и усугублением проблемы неравенства

N+1
Антропология контекста Антропология контекста

Политика памяти и забвения в «Бабьем Яре» Сергея Лозницы

Weekend
Корректировать размер скидки и определить брак: в чем ИИ поможет даже малому бизнесу Корректировать размер скидки и определить брак: в чем ИИ поможет даже малому бизнесу

Что именно искусственный интеллект делает для бизнеса уже сегодня?

Inc.
«Лучше смерть, чем быть укрытой покрывалом»: история первой иранской женщины-министра «Лучше смерть, чем быть укрытой покрывалом»: история первой иранской женщины-министра

Фаррохру Парса — пионер иранского феминисткого движения

Forbes
Мы выбираем друг друга не случайно Мы выбираем друг друга не случайно

Выбор партнера предопределен всем предшествующим ходом нашей жизни

Psychologies
«Наш мини-пиг весит 85 килограммов»: истории о том, как питомцы оказались не теми, за кого себя выдают «Наш мини-пиг весит 85 килограммов»: истории о том, как питомцы оказались не теми, за кого себя выдают

Истории о том, почему породистых животных нужно брать только у заводчиков

Playboy
Больше, чем бабочки в животе: 6 признаков влюбленности, подтвержденных наукой Больше, чем бабочки в животе: 6 признаков влюбленности, подтвержденных наукой

Как понять, что вы влюблены?

Популярная механика
Что же будет дальше? Что же будет дальше?

Сказки заканчиваются свадьбой, в жизни же после нее начинается самое интересное

Cosmopolitan
«Похождения видов. Вампироноги, паукохвосты и другие переходные формы в эволюции животных» «Похождения видов. Вампироноги, паукохвосты и другие переходные формы в эволюции животных»

Как когда-то выглядели беспозвоночные животные — отрывок из книги А. Журавлева

N+1
Что такое старый Новый год Что такое старый Новый год

В России Новый год празднуют дважды — 31 декабря и 13 января

СНОБ
Лариса Рубальская. Человек неомраченных будней Лариса Рубальская. Человек неомраченных будней

Интервью с российской поэтессой и автором текстов песен Ларисой Рубальской

Караван историй
Юмор — это серьезно: как маленькая шутка может укрепить авторитет и повысить статус Юмор — это серьезно: как маленькая шутка может укрепить авторитет и повысить статус

Отрывок из книги «Юмор — это серьезно. Ваше секретное оружие в бизнесе и жизни»

Forbes
Секреты долголетия: ученые выяснили правила жизни столетних людей Секреты долголетия: ученые выяснили правила жизни столетних людей

Несмотря на разные биографии, у всех долгожителей есть несколько общих правил

Cosmopolitan
Связь по йоте Связь по йоте

Как угольный магнат России Альберт Авдолян сколотил свое миллиардное состояние

Forbes
Сможем ли мы создать искусственную гравитацию в космосе Сможем ли мы создать искусственную гравитацию в космосе

Сможем ли мы создать искусственную гравитацию, и какие у нас есть варианты?

Популярная механика
Основатель Promobot Олег Кивокурцев — Forbes: «Любите, пожалуйста, деньги» Основатель Promobot Олег Кивокурцев — Forbes: «Любите, пожалуйста, деньги»

сооснователь компании Promobot — из чего сделаны российские роботы

Forbes
Венера Коломенская Венера Коломенская

Как участники добрососедства Коломны спасли местную достопримечательность

Собака.ru
Переход в облако только начинается, а прогнозы о будущем метавселенных могут не сбыться: тренды до 2030 года Переход в облако только начинается, а прогнозы о будущем метавселенных могут не сбыться: тренды до 2030 года

Даже становясь лучше, новые технологии не смогут заменить старые и привычные

VC.RU
Сердцу не прикажешь: самые известные любовницы президентов Сердцу не прикажешь: самые известные любовницы президентов

И у президентов есть слабости, например красивые женщины

Cosmopolitan
Кейт Миддлтон. Как стать королевой Кейт Миддлтон. Как стать королевой

Правила жизни современной Золушки – герцогини Кембриджской

Лиза
Камеры заднего вида для автомобиля: краткий и доступный гайд по выбору Камеры заднего вида для автомобиля: краткий и доступный гайд по выбору

Зачем нужны камеры заднего вида, какими они бывают и как выбрать лучшую?

CHIP
4 шага к новым «старым» отношениям 4 шага к новым «старым» отношениям

Пара психотерапевтов оказалась на грани развода. Они использовали последний шанс

Psychologies
Как выбрать онлайн-курс: простая инструкция, которая пригодится каждому Как выбрать онлайн-курс: простая инструкция, которая пригодится каждому

Чтобы не стать жертвой мошенников, нужно выбирать онлайн-курс тщательно

Популярная механика
Битц-опрос Битц-опрос

Зази Битц – о серьезном отношении к моде и мечтах о режиссуре

Harper's Bazaar
Валерия Ободзинская: Валерия Ободзинская:

Валерия Ободзинская рассказывает о своем отце Валерии Ободзинском

Караван историй
Валентина Титова. Понять и простить Валентина Титова. Понять и простить

Любовь — это служение, обожание, долг, долги плачу

Коллекция. Караван историй
«Быть Рикардо»: как Соркин, Кидман и Бардем разоблачают изнанку американских ситкомов «Быть Рикардо»: как Соркин, Кидман и Бардем разоблачают изнанку американских ситкомов

На Amazon Prime вышел фильм Аарона Соркина «Быть Рикардо»

Forbes
Микродозы псилоцибина оказались неотличимы от плацебо Микродозы псилоцибина оказались неотличимы от плацебо

Микродозинг псилоцибиновых грибов не помог при лечении депрессии

N+1
Боба Фетт и все-все-все: таймлайн вселенной «Звездных войн» Боба Фетт и все-все-все: таймлайн вселенной «Звездных войн»

Актуальный канонический таймлайн вселенной «Звездных войн»

Esquire
Биг Бен Биг Бен

Бенедикт Камбербэтч — о перевоплощении, удовольствиях и трудностях профессии

Esquire
Открыть в приложении