Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Биологи обнаружили внеклеточный источник сигнала о высоком давлении крови Биологи обнаружили внеклеточный источник сигнала о высоком давлении крови

Белок тромбоспондин помогает сосудам переносить механический стресс

N+1
Краткая история времени Краткая история времени

От Большого взрыва до черных дыр

kiozk originals
Топлес: самые интересные научные факты о женской груди Топлес: самые интересные научные факты о женской груди

Она сводит с ума, кормит и даже спасает жизнь

Популярная механика
Рыба и ее социальный интеллект Рыба и ее социальный интеллект

Отрывок из книги «О чем молчат рыбы: Путеводитель по жизни морских обитателей»

СНОБ
Фтор улучшил транспортный слой перовскитных солнечных батарей Фтор улучшил транспортный слой перовскитных солнечных батарей

Химики нашли способ сделать солнечные батареи эффективнее и стабильнее

N+1
Правила жизни Стивена Кинга Правила жизни Стивена Кинга

Правила жизни мастера ужасов Стивена Кинга

Esquire
Нет интернета — нет машины: выводы из сбоя онлайн-сервисов Tesla Нет интернета — нет машины: выводы из сбоя онлайн-сервисов Tesla

Машины стремительно превращаются в гаджеты

Популярная механика
«Кадиш.com» — комический роман финалиста Пулитцера Натана Ингландера об отношениях отцов и детей. Публикуем его фрагмент «Кадиш.com» — комический роман финалиста Пулитцера Натана Ингландера об отношениях отцов и детей. Публикуем его фрагмент

Фрагмент из комического романа Натана Ингландера «Кадиш.com»

Esquire
Яд в истории. Чем политические отравления отличаются от «простых» убийств Яд в истории. Чем политические отравления отличаются от «простых» убийств

Яды как оружие в борьбе с противниками — прием, известный с древних времен

СНОБ
Почему люди верят в плоскую Землю Почему люди верят в плоскую Землю

Реальная причина, по которой люди думают, что Земля плоская, может вас удивить

Популярная механика
Бразиллионеры Бразиллионеры

Богатство, власть, упадок и надежда в одной южно-американской стране

kiozk originals
Стоп многозадачность: включаем «зеленый» настоящему моменту Стоп многозадачность: включаем «зеленый» настоящему моменту

Почему мы отвлекаемся и не можем сконцентрироваться на чем-то одном?

РБК
Почему мы любим поговорить о бывших (особенно с нынешним) Почему мы любим поговорить о бывших (особенно с нынешним)

Признавайся, у тебя тоже бывает такое, что хочется рассказать о своем бывшем?

Cosmopolitan
Лекарство от диабета заподозрили в снижении риска развития деменции Лекарство от диабета заподозрили в снижении риска развития деменции

Препарат метформин может снизить риск развития деменции в пожилом возрасте

N+1
Безглазые пескорои потеряли юго-запад Безглазые пескорои потеряли юго-запад

Эти грызуны практически слепые, но они ориентируются на магнитное поле

N+1
«В каждом фильме — все про нас, даже монстры» «В каждом фильме — все про нас, даже монстры»

Какие сигналы для нашей психики скрыты в кино и как научиться их распознавать?

Psychologies
Шведский кошмар Стива Джобса: как Spotify перевернул музыкальную индустрию и потеснил Apple Шведский кошмар Стива Джобса: как Spotify перевернул музыкальную индустрию и потеснил Apple

Отрывок из книги Свена Карлссона и Юнаса Лейонхуфвуда об истории Spotify

Forbes
Пять самых популярных игровых мифов Пять самых популярных игровых мифов

Пять самых популярных игровых мифов, в которые верили геймеры разных поколений

Популярная механика
Как вырваться из френдзоны: 5 непростых уловок Как вырваться из френдзоны: 5 непростых уловок

Выход из френдзоны: «не верь», «не бойся», «не проси» и другие приемы

Maxim
Все по полочкам Все по полочкам

Декантирование — важная составляющая комфорта в доме

Лиза
7 захватывающих документальных фильмов о планете Земля 7 захватывающих документальных фильмов о планете Земля

Невероятные места, невыдуманные приключения и настоящие эмоции

РБК
10 книг, которые можно осилить за один вечер 10 книг, которые можно осилить за один вечер

Короткие книги, способные ударить под дых

Esquire
Ученые нашли диких предков новогвинейских поющих собак Ученые нашли диких предков новогвинейских поющих собак

Считалось, что новогвинейские поющие собаки вымерли в дикой природе

N+1
«Мам, я беременна»: как быть, если подросток поделился с вами тайной «Мам, я беременна»: как быть, если подросток поделился с вами тайной

Научиться спокойно реагировать на откровения и сформировать близкие отношения

Psychologies
Никита Ефремов: «Стараюсь не зацикливаться на себе» Никита Ефремов: «Стараюсь не зацикливаться на себе»

Никита Ефремов о грузе знаменитой фамилии и о собственной обидчивости

Cosmopolitan
Комик и актер Адам Коновер: о том, почему удовольствие — хреновая штука Комик и актер Адам Коновер: о том, почему удовольствие — хреновая штука

Как сделать так, чтобы жизнь стоила того, чтобы жить?

Playboy
Тепловой хаос вернул квантовую систему в неизвестное прошлое Тепловой хаос вернул квантовую систему в неизвестное прошлое

Обращение во времени произвольного, неизвестного квантового состояния

Популярная механика
Мутантные белки волосковых клеток сделали землекопов почти глухими Мутантные белки волосковых клеток сделали землекопов почти глухими

Голые землекопы очень плохо слышат.. Биологи объяснили, с чем это связано

N+1
Битва роялями: из-за чего поругались Apple и Epic Битва роялями: из-за чего поругались Apple и Epic

Есть ли что-то общее у Тима Кука и Джона Рокфеллера

Maxim
На северной стороне На северной стороне

Суровая кухня Норвегии — холодного края, под стать викингам и троллям

Лиза
Открыть в приложении