Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Астрономы нашли еще одну галактику без темной материи Астрономы нашли еще одну галактику без темной материи

Галактики такого типа плохо укладываются в современные космологические модели

N+1
Познакомьтесь с брендом Paria Farzaneh Познакомьтесь с брендом Paria Farzaneh

Дизайнер из Ирана Пария Фарзане, вещи которой уже обожают Фрэнк Оушен и Pusha T

GQ
Кормилица королевы Виктории убила шестерых собственных детей Кормилица королевы Виктории убила шестерых собственных детей

В 1854 году Мэри Энн Бро посреди ночи перерезала горло собственным детям

Cosmopolitan
Теория разумного пофигизма. 13 правил счастья в семейной жизни Теория разумного пофигизма. 13 правил счастья в семейной жизни

Как сосуществовать вместе долго и счастливо?

Maxim
Как получить 65% годовых? История управляющего одним из самых доходных паевых фондов в России Как получить 65% годовых? История управляющего одним из самых доходных паевых фондов в России

Как Антон Кравченко открыл и развил собственный инвестиционный фонд

Forbes
Правила жизни Джереми Айронса Правила жизни Джереми Айронса

Правила жизни ирландского актера Джереми Айронса

Esquire
Не только лизать: 10 языков животных и необычные факты о них Не только лизать: 10 языков животных и необычные факты о них

Мы используем свой язык для облизывания, глотания и разговора. А животные?

Популярная механика
Тихий остров Тихий остров

Палитра этого дома навеяна песчаными холмами, сухотравьем и волнами Атлантики

AD
Самая быстрая читка и наибольшее число селфи: звезды в Книге рекордов Гиннесса Самая быстрая читка и наибольшее число селфи: звезды в Книге рекордов Гиннесса

Нашим героям удалось установить мировой рекорд, не ставя перед собой такой цели

Cosmopolitan
Роберта Паттинсона, Тома Холланда и Билла Скарсгарда бесы попутали Роберта Паттинсона, Тома Холланда и Билла Скарсгарда бесы попутали

Бог забыл про Огайо и Западную Виргинию, надвигается кромешная тьма

GQ
Социальная сеть Социальная сеть

Как основатель Facebook заработал $4 млрд и приобрел 500 млн друзей

kiozk originals
Краткая история злых клоунов Краткая история злых клоунов

Хочешь историческую справку, Джорджи?

Maxim
«Отказываться от транспортного налога нельзя». Что будет с ценами на АЗС «Отказываться от транспортного налога нельзя». Что будет с ценами на АЗС

Что сегодня влияет на стоимость топлива и стоит ли ждать роста цен

РБК
Нейробиолог омолодил свой мозг и рассказал, как сделать так же Нейробиолог омолодил свой мозг и рассказал, как сделать так же

Привычки, которые помогают сохранить молодость мозга

Inc.
Молодо-зелено Молодо-зелено

Зачем косметологу знать, что вы веган или вегетарианец?

Tatler
Слепая зона и черная зависть. Оскар Хартманн о пяти ситуациях, когда деньги отнимают радость и счастье Слепая зона и черная зависть. Оскар Хартманн о пяти ситуациях, когда деньги отнимают радость и счастье

Зачастую деньги не приносят счастья

Forbes
11 самых нелепых случаев использования компьютерной графики в кино 11 самых нелепых случаев использования компьютерной графики в кино

Иногда компьютерная графика только портит фильм

Maxim
Никогда не ешьте в одиночку Никогда не ешьте в одиночку

Правила нетворкинга, которые работают

kiozk originals
Монстры, белое зло и расизм: каким получился сериал «Страна Лавкрафта» Монстры, белое зло и расизм: каким получился сериал «Страна Лавкрафта»

Сериал «Страна Лавкрафта» — хоррор про расизм и монстров

Esquire
Чем нас привлекают «ужастики» Чем нас привлекают «ужастики»

Почему хорроры настолько популярны?

Psychologies
5 легендарных мечей, которые до сих пор целы 5 легендарных мечей, которые до сих пор целы

Эти легендарные мечи можно увидеть собственными глазами!

Maxim
Занимательная критика Занимательная критика

Остатки древней цивилизации: встреча с настоящими минойцами на острове Крит

Вокруг света
Почему чешется «там»? 8 основных причин и способы решения проблемы Почему чешется «там»? 8 основных причин и способы решения проблемы

От того, что ты без конца лезешь «туда» почесать, легче не станет

Playboy
10 советов популярных психологов, за которые их хочется треснуть 10 советов популярных психологов, за которые их хочется треснуть

Популярная психология стала такой популярной, что психологии в ней не осталось

Cosmopolitan
Мнимая угроза санкций: чего «Газпрому» нужно бояться на самом деле Мнимая угроза санкций: чего «Газпрому» нужно бояться на самом деле

Что угрожает Nord Stream 2 и «Газпрому»

Forbes
Balenciaga Balenciaga

Самая мрачная коллекция Balenciaga от Демны Гвасалии

Weekend
Тест-драйв Porsche Panamera GTS Sport Turismo Тест-драйв Porsche Panamera GTS Sport Turismo

Этот автомобиль — фактически первый «универсал» от Porsche

СНОБ
Как есть палочками: самый полный гид Как есть палочками: самый полный гид

Брось вызов гегемонии ножа и вилки на обеденном столе!

Maxim
Фильм или слайд-шоу: как мозг воспринимает реальность Фильм или слайд-шоу: как мозг воспринимает реальность

Возможно, наш мозг воспринимает реальность как серию короткометражек

Популярная механика
Планета вирусов Планета вирусов

Бывают ли полезные вирусы и без чего они не могут существовать

kiozk originals
Открыть в приложении