Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Великая зеленая стена» в Африке окупится за 10 лет «Великая зеленая стена» в Африке окупится за 10 лет

«Великая зеленая стена» в Африке однажды станет прибыльной

N+1
Бальзам на сердце Бальзам на сердце

Когда еда становится лекарством, а лекарство — едой

Вокруг света
Кормилица королевы Виктории убила шестерых собственных детей Кормилица королевы Виктории убила шестерых собственных детей

В 1854 году Мэри Энн Бро посреди ночи перерезала горло собственным детям

Cosmopolitan
Как вырваться из френдзоны: 5 непростых уловок Как вырваться из френдзоны: 5 непростых уловок

Выход из френдзоны: «не верь», «не бойся», «не проси» и другие приемы

Maxim
Как подсознание работает на нас: 4 способа услышать его подсказки Как подсознание работает на нас: 4 способа услышать его подсказки

Что вы представляете, когда вам говорят о подсознании?

Psychologies
9 экстремальных способов, которыми люди добираются на работу 9 экстремальных способов, которыми люди добираются на работу

Дорога на работу — особый жанр

Maxim
Как выбрать наручные часы: пошаговое руководство для мужчин Как выбрать наручные часы: пошаговое руководство для мужчин

На какие нюансы стоит обратить внимание при покупке мужских наручных часов

Playboy
Что ждет Лионеля Месси в «Барселоне» в ближайший год? Что ждет Лионеля Месси в «Барселоне» в ближайший год?

Какие последствия могут быть у ссоры Лионеля Месси с президентом

GQ
Тутта Ларсен: «Единственный диетолог, который может тебе помочь, – ты сам» Тутта Ларсен: «Единственный диетолог, который может тебе помочь, – ты сам»

Популярная телеведущая, жена и мама делится собственным опытом похудения

Худеем правильно
Социальные нормы и гендерное насилие: как они связаны? Социальные нормы и гендерное насилие: как они связаны?

Мужчина должен быть сильным и агрессивным, а женщина — покорной и терпеливой?

Psychologies
Почему мужчине не хочется секса: список из 13 основных причин Почему мужчине не хочется секса: список из 13 основных причин

Подборка вероятных причин низкого либидо у мужчин или полного отсутствия желания

Playboy
Секси или нет? Что мужчины думают о женских коротких стрижках на самом деле Секси или нет? Что мужчины думают о женских коротких стрижках на самом деле

Что думают о женских коротких стрижках мужчины?

Cosmopolitan
Русская планета: почему «Роскосмос» решил искать на Венере жизнь Русская планета: почему «Роскосмос» решил искать на Венере жизнь

На Венере обнаружены вещества, ассоциируемые с жизнью

Esquire
Искусственный интеллект Искусственный интеллект

Этапы. Угрозы. Стратегии

kiozk originals
«Третий день» – один из лучших (и самых кровавых) сериалов этого года «Третий день» – один из лучших (и самых кровавых) сериалов этого года

Джуд Лоу в драматическом мини-сериале от HBO «Третий день»

GQ
Самцы и самки леопардов выбрали разный режим дня Самцы и самки леопардов выбрали разный режим дня

Самцы леопардов охотятся ночью, а самки предпочитают утренние часы

N+1
«Определитесь, что для вас важнее – качество жизни или булочка» «Определитесь, что для вас важнее – качество жизни или булочка»

Не только похудеть, но и отточить фигуру до совершенства по силам каждому

Худеем правильно
«Яичница смотрит на меня»: почему мы одушевляем неживые предметы «Яичница смотрит на меня»: почему мы одушевляем неживые предметы

Вы тоже замечали, что бутерброд косится подозрительно, а дверная ручка грустит?

Psychologies
Как решить любую проблему:6 психологических лайфхаков Как решить любую проблему:6 психологических лайфхаков

О том, как решить свою проблему, не поедая мамонта

Cosmopolitan
5 лучших способов похудеть, кроме посещения тренажерного зала 5 лучших способов похудеть, кроме посещения тренажерного зала

Можно прийти в форму и без абонемента

Playboy
Новый способ преобразования кремния в наночастицы Новый способ преобразования кремния в наночастицы

Ученые из Сколтеха разработали новый способ переработки кремниевых пластин

Популярная механика
Роберта Паттинсона, Тома Холланда и Билла Скарсгарда бесы попутали Роберта Паттинсона, Тома Холланда и Билла Скарсгарда бесы попутали

Бог забыл про Огайо и Западную Виргинию, надвигается кромешная тьма

GQ
Еще 10 знакомых всем вещей, чьи названия знает не каждый Еще 10 знакомых всем вещей, чьи названия знает не каждый

После прочтения этой статьи десятью загадками станет меньше

Maxim
Американская диета Американская диета

Нью-йоркская диета поможет быстро похудеть до 6 кг за две недели

Лиза
Люди спасли от вымирания не менее 28 видов птиц и млекопитающих с 1993 года Люди спасли от вымирания не менее 28 видов птиц и млекопитающих с 1993 года

Меры по охране природы позволили предотвратить исчезновение 28–48 видов

N+1
Дорогу молодым Дорогу молодым

Популярные способы омолаживания кожи лица

Лиза
Девочки, которые превращаются в мальчиков в 12, — феномен гуэведосе Девочки, которые превращаются в мальчиков в 12, — феномен гуэведосе

В Доминиканской Республике есть деревня, отличающаяся от других

Cosmopolitan
Как важно уметь говорить «нет» и делать это правильно Как важно уметь говорить «нет» и делать это правильно

Умение сказать «нет» много значит для психического здоровья и уверенности в себе

Psychologies
Как контролировать ребенка и не дать ему попасть в зависимость от гаджетов Как контролировать ребенка и не дать ему попасть в зависимость от гаджетов

Как уберечь ребенка от плохого контента и не позволить сидеть с гаджетом 24/7?

CHIP
«Человек, у которого есть власть, рано или поздно может ее применить». Как работают с авторами домашнего насилия «Человек, у которого есть власть, рано или поздно может ее применить». Как работают с авторами домашнего насилия

Специалист по работе с агрессией о природе домашнего насилия

Forbes
Открыть в приложении