Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Жизнь без генома: что такое прионы Жизнь без генома: что такое прионы

Возможна ли жизнь без генома?

Популярная механика
Физика стенопа: удивительные факты о фотоаппарате из мусора Физика стенопа: удивительные факты о фотоаппарате из мусора

Самое интересное о необычном аппарате, созданном из мусора и науки

Популярная механика
Кормилица королевы Виктории убила шестерых собственных детей Кормилица королевы Виктории убила шестерых собственных детей

В 1854 году Мэри Энн Бро посреди ночи перерезала горло собственным детям

Cosmopolitan
На зарядку становись На зарядку становись

По России можно путешествовать на электромобиле уже сейчас

Robb Report
Mercedes-Benz рассекретил новый флагманский седан Mercedes-Benz рассекретил новый флагманский седан

Mercedes-Benz презентовал седан S-класса седьмого поколения

Популярная механика
Бутылка для соевого соуса Kikkoman за 60 лет стала символом удобства: каким принципам следовал её дизайнер Кендзи Экуан Бутылка для соевого соуса Kikkoman за 60 лет стала символом удобства: каким принципам следовал её дизайнер Кендзи Экуан

Тара с красной крышкой стала музейным экспонатом

VC.RU
Завтрак с Сократом Завтрак с Сократом

Философия повседневной жизни

kiozk originals
«Летали по одному загранпаспорту»: почему близнецы-рестораторы Березуцкие строят бизнес вместе и как открыли один из 20 лучших ресторанов в мире «Летали по одному загранпаспорту»: почему близнецы-рестораторы Березуцкие строят бизнес вместе и как открыли один из 20 лучших ресторанов в мире

Как братья Березуцкие открыли ресторан из топ-20 The World’s Best Restaurants

Forbes
Дорогое удовольствие! Сколько стоит быть модным блогером — мы посчитали Дорогое удовольствие! Сколько стоит быть модным блогером — мы посчитали

Завидуешь fashion-блогерам?

Cosmopolitan
10 необычных Porsche 10 необычных Porsche

Говорим о нестандартных Porsche

Популярная механика
7 странных явлений, которые происходят из-за Луны на Земле 7 странных явлений, которые происходят из-за Луны на Земле

Этот спутник не щадит ни львов, ни людей, ни лемуров!

Maxim
Каким спортом заняться? 8 советов, которые помогут выбрать лучший вариант для тебя Каким спортом заняться? 8 советов, которые помогут выбрать лучший вариант для тебя

Как выбрать подходящий вид спорта и начать им заниматься?

Playboy
Самое сухое место на Земле — песчаные дюны Антарктиды Самое сухое место на Земле — песчаные дюны Антарктиды

Сухие долины — место, где вот уже два миллиона лет не было никаких осадков

Maxim
Вес попутал Вес попутал

Удержание хорошей формы после пятидесяти похоже на компьютерную игру

Tatler
10 невероятных изобретений древних греков 10 невероятных изобретений древних греков

Что первым приходит на ум, когда речь заходит о древней Греции?

Популярная механика
Физика невозможного Физика невозможного

Научное исследование мира силовых полей, телепортации и путешествий во времени

kiozk originals
Два капитала Два капитала

Секреты общего бюджета

Cosmopolitan
Юрий Колокольников Юрий Колокольников

Он сыграл в главных фильмах года: «Довод» Нолана и «Петровы в гриппе»

Maxim
Ниже солнца, выше воды Ниже солнца, выше воды

Беспилотное судно с почти неограниченным запасом хода

Популярная механика
Армянский волкодав Армянский волкодав

Гампр — самая древняя порода собак из Армении

Weekend
Энергия солнца. Оскар Хартманн — о том, как заставить деньги приносить счастье Энергия солнца. Оскар Хартманн — о том, как заставить деньги приносить счастье

Приносят ли деньги счастье?

Forbes
Развитие мозга человека отрегулировали два белка с цинковыми пальцами Развитие мозга человека отрегулировали два белка с цинковыми пальцами

Эти белки, вероятно, связаны с рядом нейродегенеративных заболеваний

N+1
Стесняюсь спросить: какие виды инъекций существуют в современной косметологии и что нужно знать об уколах красоты Стесняюсь спросить: какие виды инъекций существуют в современной косметологии и что нужно знать об уколах красоты

Ботокс и другие виды инъекций: что нужно о них знать

Esquire
Пройдите на просвечивание Пройдите на просвечивание

Что мультиволновая астрономия видит в недрах звезд и галактик

N+1
Влияет ли среда обитания на запах и вкус пищи Влияет ли среда обитания на запах и вкус пищи

Почва, климат и микробы могут формировать вкус сельскохозяйственных культур

Популярная механика
«Кадиш.com» — комический роман финалиста Пулитцера Натана Ингландера об отношениях отцов и детей. Публикуем его фрагмент «Кадиш.com» — комический роман финалиста Пулитцера Натана Ингландера об отношениях отцов и детей. Публикуем его фрагмент

Фрагмент из комического романа Натана Ингландера «Кадиш.com»

Esquire
Как Райан Гослинг приготовил идеальный коктейль Old Fashioned в фильме «Эта дурацкая любовь» Как Райан Гослинг приготовил идеальный коктейль Old Fashioned в фильме «Эта дурацкая любовь»

Обычно навыки барменов в фильмах не выдерживают критики, но есть одно исключение

Esquire
Ликбез: все мифы и научные факты о мужском организме Ликбез: все мифы и научные факты о мужском организме

Какие мифы о мужчинах правда, а какие — выдумка?

Популярная механика
Остаться при своих Остаться при своих

Когда надо начинать волноваться из-за выпадения волос? Объясняют специалисты

Glamour
Интернет все помнит. Публичный образ Лукашенко по системе Станиславского Интернет все помнит. Публичный образ Лукашенко по системе Станиславского

Кинокритик Юрий Богомолов размышляет о психофизике Лукашенко

СНОБ
Открыть в приложении