Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Современный музей — это не хранение, а диалог с посетителем». Разговор сотрудниц Политеха об инклюзивности, образовании и новых форматах взаимодействия «Современный музей — это не хранение, а диалог с посетителем». Разговор сотрудниц Политеха об инклюзивности, образовании и новых форматах взаимодействия

Зачем музею говорить о правах человека

СНОБ
Последний из динозавров Последний из динозавров

Суперкары Lamborghini Huracan Evo должны жить на идеальных гоночных трассах

Популярная механика
Кормилица королевы Виктории убила шестерых собственных детей Кормилица королевы Виктории убила шестерых собственных детей

В 1854 году Мэри Энн Бро посреди ночи перерезала горло собственным детям

Cosmopolitan
Танец-вспышка Танец-вспышка

Справиться с раком груди Наталье Синдеевой помогло аргентинское танго

Tatler
Католический священник Вячеслав Барок о противостоянии в Белоруссии Католический священник Вячеслав Барок о противостоянии в Белоруссии

Охватившие Беларусь протесты имеют и конфессиональное измерение

СНОБ
Храм — бассейн — храм: 7 фактов о храме Христа Спасителя, которые не стыдно знать и атеисту Храм — бассейн — храм: 7 фактов о храме Христа Спасителя, которые не стыдно знать и атеисту

Удивительная история храма Христа Спасителя

Maxim
Правила жизни Стивена Кинга Правила жизни Стивена Кинга

Правила жизни мастера ужасов Стивена Кинга

Esquire
Место на карте: Камчатка​​​​​​​ Место на карте: Камчатка​​​​​​​

Камчатка: открываем природу и историю полуострова вместе

Культура.РФ
Калифорния: Краткая история суши Калифорния: Краткая история суши

Книга, которая в деталях рассматривает классическое японское блюдо

kiozk originals
(Не)Совершенная случайность (Не)Совершенная случайность

Как случай управляет нашей жизнью

kiozk originals
Как вырваться из френдзоны: 5 непростых уловок Как вырваться из френдзоны: 5 непростых уловок

Выход из френдзоны: «не верь», «не бойся», «не проси» и другие приемы

Maxim
Пять языков любви Пять языков любви

Секрет прочных отношений

kiozk originals
6 идеальных осенних фильмов от Алисы Таёжной 6 идеальных осенних фильмов от Алисы Таёжной

Какие фильмы обязательно стоит посмотреть уютной осенью

Cosmopolitan
Борода лопатой и галстук-бабочка: 7 деталей мужского стиля, которые всех достали Борода лопатой и галстук-бабочка: 7 деталей мужского стиля, которые всех достали

Хватит поставлять нам одинаковых бородатых мужчин в белых кедах. Пожалуйста!

Cosmopolitan
10 самых нелепых теорий заговоров: мир под властью рептилоидов 10 самых нелепых теорий заговоров: мир под властью рептилоидов

Подборка самых нелепых и уморительных теорий конспирологов по всему миру

Популярная механика
Нечеловеческий секс Нечеловеческий секс

Почему мы все еще занимаемся сексом по старинке – с живыми людьми?

Популярная механика
Империя иллюзий Империя иллюзий

Конец образованности и триумф шоу

kiozk originals
«Я многим пожертвовала, чтобы в 35 лет попасть в список Forbes». Екатерина Варнава — о том, как женщины отвоевывают свое место в юморе и жизни «Я многим пожертвовала, чтобы в 35 лет попасть в список Forbes». Екатерина Варнава — о том, как женщины отвоевывают свое место в юморе и жизни

Екатерина Варнава о том, почему женщине-миллионеру задают вопросы о личной жизни

Forbes
Мне двадцать два года Мне двадцать два года

Елена Смолина об «Облаке в ее комнате», уверенном черно-белом дебюте о юности

Weekend
Ликбез: все мифы и научные факты о мужском организме Ликбез: все мифы и научные факты о мужском организме

Какие мифы о мужчинах правда, а какие — выдумка?

Популярная механика
Среди своих Среди своих

Cоздавая туриндустрию с нуля, Руанда пошла по тропе премиального туризма

Robb Report

Что чувствуют актеры во время любовных сцен?

Cosmopolitan
Совсем расслабились… Совсем расслабились…

Как вернуться в офис после удаленки или отпуска

Лиза
Глотаемую капсулу с электростимулятором испытали в свином желудке Глотаемую капсулу с электростимулятором испытали в свином желудке

Глотаемая капсула внедряет электроды и помогает мыщцам желудка сокращаться

N+1
Преступление и исправление Преступление и исправление

Тюрьма в Филадельфии считается бабушкой всех современных тюрем

Дилетант
Развитие мозга человека отрегулировали два белка с цинковыми пальцами Развитие мозга человека отрегулировали два белка с цинковыми пальцами

Эти белки, вероятно, связаны с рядом нейродегенеративных заболеваний

N+1
Война за креатив Война за креатив

Как преодолеть внутренние барьеры и начать творить

kiozk originals
Правила жизни Томми Ли Джонса Правила жизни Томми Ли Джонса

Правила жизни американского актера и режиссера Томми Ли Джонса

Esquire
250 американских собак получили бронежилеты благодаря ребенку 250 американских собак получили бронежилеты благодаря ребенку

Иногда любовь к животным и детская находчивость способны на многое

Популярная механика
Часики тикают Часики тикают

Знакомьтесь: звезда TikTok и Instagram Лиза Анохина

Vogue
Открыть в приложении