Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ингибитор миостатина помог мышам сохранить кости и мышцы в космосе Ингибитор миостатина помог мышам сохранить кости и мышцы в космосе

В норме миостатин ограничивает рост мышц

N+1
Дети, посуда и розетки. Как сексизм пронизывает нашу повседневность и почему старые нормы неизбежно отмирают Дети, посуда и розетки. Как сексизм пронизывает нашу повседневность и почему старые нормы неизбежно отмирают

Отрывок из книги о новой этике «Так вышло. 29 вопросов новой этики и морали»

Forbes
Кормилица королевы Виктории убила шестерых собственных детей Кормилица королевы Виктории убила шестерых собственных детей

В 1854 году Мэри Энн Бро посреди ночи перерезала горло собственным детям

Cosmopolitan
Дисбаланс активности мозга при аутизме связали с половыми различиями Дисбаланс активности мозга при аутизме связали с половыми различиями

Аутичные женщины способны лучше компенсировать коммуникативные трудности

N+1
Движение вверх Движение вверх

Александр Молочников и его география

Vogue
Независимые величины Независимые величины

Как новая денежно-кредитная политика ФРС определяет комфортный уровень инфляции?

Forbes
Маховик времени: как выглядеть моложе своих лет Маховик времени: как выглядеть моложе своих лет

Как выглядеть моложе после 40 лет?

Cosmopolitan
Необитаемая Земля Необитаемая Земля

Жизнь после глобального потепления

kiozk originals
Пять лайфаков, которые облегчат работу с Windows Пять лайфаков, которые облегчат работу с Windows

Мы собрали хитрости, которые помогут сделать работу с Windows более комфортной

Популярная механика
«Я принимала решения, затрагивавшие лидеров стран»: как рядовые сотрудники Facebook влияют на политические процессы «Я принимала решения, затрагивавшие лидеров стран»: как рядовые сотрудники Facebook влияют на политические процессы

Бывший аналитик Facebook о чувстве вины за беспорядки в других странах

TJ
«Необитаемая Земля. Жизнь после глобального потепления» «Необитаемая Земля. Жизнь после глобального потепления»

Отрывок из книги Дэвида Уоллеса-Уэллса о глобальном потеплении

N+1
Кислоты могли уничтожить свидетельства существования жизни на Марсе Кислоты могли уничтожить свидетельства существования жизни на Марсе

Возможно, останки органики на Марсе мы так и не найдем

National Geographic
Верховный алгоритм Верховный алгоритм

Как машинное обучение изменит наш мир

kiozk originals
Элементы для сердца Элементы для сердца

Работа нашего сердца во многом зависит всего от нескольких макроэлементов

Здоровье
Как важно уметь говорить «нет» и делать это правильно Как важно уметь говорить «нет» и делать это правильно

Умение сказать «нет» много значит для психического здоровья и уверенности в себе

Psychologies
По тонкому льду По тонкому льду

Как глобальное потепление повлияет на Россию

N+1
Последние часы: чем занимались Джексон, Диана и другие звезды перед смертью Последние часы: чем занимались Джексон, Диана и другие звезды перед смертью

Последний день этих звезд ничем не отличался от других, ничто не предвещало беды

Cosmopolitan
Игра в молчанку Игра в молчанку

Что такое синдром FOSO и как с ним жить

GQ
Ежедневный уход за новорожденным Ежедневный уход за новорожденным

Как правильно ухаживать за малышом?

9 месяцев
Кто в тереме живёт Кто в тереме живёт

Уникальный отель-музей из терема в Костромской области

National Geographic Traveler
Они легенды! Моника Беллуччи и другие звезды, в честь которых называли сумки Они легенды! Моника Беллуччи и другие звезды, в честь которых называли сумки

На создание этих моделей сумок дизайнеров вдохновили модницы и иконы стиля

Cosmopolitan
Из чего же сделаны наши девчонки? Из чего же сделаны наши девчонки?

Об экранизации романа Карины Добротворской «Кто-нибудь видел мою девчонку?»

Tatler
Что такое синдром выученной беспомощности и почему им обычно страдают мужчины Что такое синдром выученной беспомощности и почему им обычно страдают мужчины

Как синдром выученной беспомощности мешает жить и как от него избавиться

Maxim
Кроме шуток Кроме шуток

Как студент-историк Саша Барон Коэн стал знаменитым комиком

Glamour
Желудевые дятлы оказались любителями посмотреть на битвы сородичей Желудевые дятлы оказались любителями посмотреть на битвы сородичей

Но цель наблюдения — сбор социальной информации о соседних группах

N+1
Tinder для коллег: расширение NextPage поможет найти общий язык в команде Tinder для коллег: расширение NextPage поможет найти общий язык в команде

Расширение NextPage должно решить проблему с нехваткой неформального общения

РБК
Не смертельно, но неприятно: как убрать зуд при ожоге крапивой Не смертельно, но неприятно: как убрать зуд при ожоге крапивой

Как снять зуд и жжение и на что обратить особое внимание при ожоге крапивой

Cosmopolitan
«Гнездо» перевернутых ролей: фильм, где Джуд Лоу живет на содержании у жены, притворяясь миллионером «Гнездо» перевернутых ролей: фильм, где Джуд Лоу живет на содержании у жены, притворяясь миллионером

«Гнездо» — индидрама про смену традиционных гендерных ролей

Forbes
Как говорить с детьми о наркотиках и алкоголе Как говорить с детьми о наркотиках и алкоголе

Как правильно обсудить с ребенком тему наркотических веществ и алкоголя

Psychologies
Тепло наших дел Тепло наших дел

Как Анастасия Татулова строит бизнес с человеческим лицом

Vogue
Открыть в приложении