Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Mercedes-Benz Х-Class. Поймите его правильно Mercedes-Benz Х-Class. Поймите его правильно

Легендарная марка отважилась представить собственный пикап

4x4 Club
(Не)Совершенная случайность (Не)Совершенная случайность

Как случай управляет нашей жизнью

kiozk originals
Кормилица королевы Виктории убила шестерых собственных детей Кормилица королевы Виктории убила шестерых собственных детей

В 1854 году Мэри Энн Бро посреди ночи перерезала горло собственным детям

Cosmopolitan
Какие фигуры нам нравятся на самом деле? Какие фигуры нам нравятся на самом деле?

Что, если на самом деле нам нравятся параметры, далекие от модельных?

Psychologies
Правило № 55. Будьте святыней — их не оскорбляют Правило № 55. Будьте святыней — их не оскорбляют

Коуч Алексей Ситников пытается решить проблему семейного насилия

Tatler
Дисциплина без драм Дисциплина без драм

Как помочь ребенку воспитать характер

kiozk originals
Что у тебя на сердце? Что у тебя на сердце?

Как распознать сердечную недостаточность?

Лиза
Бутылка для соевого соуса Kikkoman за 60 лет стала символом удобства: каким принципам следовал её дизайнер Кендзи Экуан Бутылка для соевого соуса Kikkoman за 60 лет стала символом удобства: каким принципам следовал её дизайнер Кендзи Экуан

Тара с красной крышкой стала музейным экспонатом

VC.RU
Банки выдают карты подросткам. К чему готовиться родителям? Банки выдают карты подросткам. К чему готовиться родителям?

Количество банковских карт для подростков будет только расти

Forbes
Эффект Микадо: почему, становясь предпринимателями, вы лишаетесь свободы самовыражения Эффект Микадо: почему, становясь предпринимателями, вы лишаетесь свободы самовыражения

Почему предприниматели ответственны за судьбы других людей

Forbes
«Долой Баффета, теперь я ваш папа!»: почему финтех-стартап Robinhood может стать дорогой в никуда для миллионов инвесторов «Долой Баффета, теперь я ваш папа!»: почему финтех-стартап Robinhood может стать дорогой в никуда для миллионов инвесторов

Стартап Robinhood уже привлек на фондовый рынок миллионы непрофессионалов

Forbes
«Дом.РФ» нацелился на розницу «Дом.РФ» нацелился на розницу

Банк «Дом.РФ» активизировал свою экспансию на розничном направлении

Эксперт
Шелковый Путь Шелковый Путь

Дорога тканей, рабов, идей и религий

kiozk originals
Джоли — еще и режиссер! Знаменитые актеры, которые сами снимают фильмы Джоли — еще и режиссер! Знаменитые актеры, которые сами снимают фильмы

Некоторым актерам мало работы на площадке, они хотят руководить процессом

Cosmopolitan
Вместо соли Вместо соли

В последнее время ценность соли в глазах человечества сильно упала

Наука и жизнь
«Контур жизни: Математик в поиске скрытой геометрии Вселенной» «Контур жизни: Математик в поиске скрытой геометрии Вселенной»

Отрывок из автобиографической книги математика Яу Шинтуна

N+1
Отрицание, замещение, проекция: как психика нас защищает Отрицание, замещение, проекция: как психика нас защищает

Три защитных механизма психики, описанные Зигмундом Фрейдом

Psychologies
Это важнее IQ Это важнее IQ

Что такое эмоциональный интеллект и как его измерить?

Лиза
Дневник принцессы Дневник принцессы

Из магазина нижнего белья на первые полосы — Эмма Коррин играет принцессу Диану

Vogue
Команда соперников Команда соперников

Политический гений Авраама Линкольна

kiozk originals
Эти гениальные птицы Эти гениальные птицы

Лабораторные и полевые исследования когнитивных способностей птиц

kiozk originals
Почему нам нравится смотреть на выдуманные апокалипсисы, когда миру угрожает реальный Почему нам нравится смотреть на выдуманные апокалипсисы, когда миру угрожает реальный

Отрывок из книги Дэвида Уоллеса-Уэллса «Необитаемая Земля»

Forbes
Тайная жизнь деревьев Тайная жизнь деревьев

Что они чувствуют, как они общаются – открытие сокровенного мира

kiozk originals
Модель для сборки: в чем заключается феномен LEGO Модель для сборки: в чем заключается феномен LEGO

Почему LEGO лидеры по производству игрушек и кто такие AFOL?

GQ
Давать свободу, доверять и наплевать на оценки. Мэй Маск и Эстер Войжитски — о том, как воспитать ребенка, который попадет в список Forbes Давать свободу, доверять и наплевать на оценки. Мэй Маск и Эстер Войжитски — о том, как воспитать ребенка, который попадет в список Forbes

О принципах воспитания нескольких участников списков Forbes из первых уст

Forbes
Доказано телом Доказано телом

Завидная фигура Дарьи Коноваловой — результат закалки и заботы косметологов

Tatler
Свердловчане не сдаются Свердловчане не сдаются

Сергей Светлаков давно пустился в самостоятельное плавание

OK!
Интервью создателя CoinKeeper: зачем привлёк инвестиции на выход в Европу и почему учёт финансов — не только для бедных Интервью создателя CoinKeeper: зачем привлёк инвестиции на выход в Европу и почему учёт финансов — не только для бедных

Как CoinKeeper иногда принимают за криптосервис?

VC.RU
32 вопроса, которые стоит задать бабушке с дедушкой 32 вопроса, которые стоит задать бабушке с дедушкой

Насколько хорошо вы на самом деле знаете своих дедушек и бабушек?

Psychologies
Наши в Голливуде: Козловский, Хабенский и другие звезды, покорившие Запад Наши в Голливуде: Козловский, Хабенский и другие звезды, покорившие Запад

Смотри наш список знаменитых русских актеров и режиссеров в Голливуде

Cosmopolitan
Открыть в приложении