Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Острые ощущения Острые ощущения

Они любят риск, покоряют вершины, но не могут остановиться. Что виной тому?

Здоровье
Что значит быть плейбоем-2020 Что значит быть плейбоем-2020

Каким должен быть настоящий мужчина? Интервью с наследником бьюти-империи

Playboy
Топлес: самые интересные научные факты о женской груди Топлес: самые интересные научные факты о женской груди

Она сводит с ума, кормит и даже спасает жизнь

Популярная механика
Кто такие Wokefluencer и почему их все ненавидят? Кто такие Wokefluencer и почему их все ненавидят?

Почему далеко не всем понравились политические призывы блогеров

GQ
Торт от стресса: почему ты заедаешь свои проблемы и как от этого избавиться Торт от стресса: почему ты заедаешь свои проблемы и как от этого избавиться

Что делать, если думаешь о еде как о способе снятия стресса

Cosmopolitan
Мне бы в небо: 10 фактов о работе стюардессы Мне бы в небо: 10 фактов о работе стюардессы

Наверное, каждая девочка мечтала стать стюардессой

Cosmopolitan
Блюда из грибов: нереально вкусные и простые в приготовлении рецепты Блюда из грибов: нереально вкусные и простые в приготовлении рецепты

Грибные блюда на любой вкус, которые сможет приготовить даже новичок

Playboy
Дом отдыха Дом отдыха

Квартира в стиле уютной и респектабельной американская классика

SALON-Interior
Один «мидл» — хорошо, а два «джуна» лучше. Как сэкономить на найме разработчиков Один «мидл» — хорошо, а два «джуна» лучше. Как сэкономить на найме разработчиков

Работодатели сильно недооценивают плюсы от найма junior-разработчиков

Inc.
10 книг, заслуживших 10 книг, заслуживших

Подборка произведений, заслуживших престижную литературную премию "Локус"

Популярная механика
Кодекс современного джентльмена: 14 правил, которые стоит запомнить каждому Кодекс современного джентльмена: 14 правил, которые стоит запомнить каждому

В 2020 году быть просто «хорошим парнем» недостаточно

Playboy
Приручить энергию звезд Приручить энергию звезд

Каким ученые видят решение грядущего энергетического дефицита

N+1
Магическая уборка Магическая уборка

Японское искусство наведения порядка дома и в жизни

kiozk originals
Четвертая промышленная революция Четвертая промышленная революция

Новая трансформация технологии и промышленности

kiozk originals
Гормоны стресса — виновники лишнего веса! Как «приручить» кортизол и адреналин? Гормоны стресса — виновники лишнего веса! Как «приручить» кортизол и адреналин?

Как работают гормоны стресса и как сохранить здоровье и красоту?

Cosmopolitan
Вторая попытка: тест Volkswagen Multivan T6.1 Вторая попытка: тест Volkswagen Multivan T6.1

Тест-драйв Volkswagen Multivan T6.1

Популярная механика
Калифорния планирует запретить автомобили с бензиновым двигателем к 2035 году Калифорния планирует запретить автомобили с бензиновым двигателем к 2035 году

Калифорния переходит на электрические пассажирские автомобили и грузовики

GQ
Черно-белое кино Черно-белое кино

Блейк Лайвли – о том, как била Джуда Лоу и боролась против голливудских клише

Cosmopolitan
Дом веселых и находчивых Дом веселых и находчивых

Модернистский дом 1960‑х годов в идеальном состоянии

AD
Калифорния: Краткая история суши Калифорния: Краткая история суши

Книга, которая в деталях рассматривает классическое японское блюдо

kiozk originals
7 захватывающих документальных фильмов о планете Земля 7 захватывающих документальных фильмов о планете Земля

Невероятные места, невыдуманные приключения и настоящие эмоции

РБК
Духовные скрепы Октавиана Духовные скрепы Октавиана

Октавиан Август строил храмы, но сам не мог служить образцом строгой морали

Дилетант
Правила жизни Джорджа Р.Р. Мартина Правила жизни Джорджа Р.Р. Мартина

Джордж Р.Р. Мартин: «Нельзя написать хорошую книгу, в которой никто не погибает»

Esquire
Что ждет Лионеля Месси в «Барселоне» в ближайший год? Что ждет Лионеля Месси в «Барселоне» в ближайший год?

Какие последствия могут быть у ссоры Лионеля Месси с президентом

GQ
Среди своих Среди своих

Cоздавая туриндустрию с нуля, Руанда пошла по тропе премиального туризма

Robb Report
Когда разум молчит: зачем предприниматели обращаются к таро и гипнокоучам Когда разум молчит: зачем предприниматели обращаются к таро и гипнокоучам

Так ли бессмысленно обращаться к таро и гороскопам?

РБК
Богини удачного ракурса: 11 звезд с асимметричными чертами лица Богини удачного ракурса: 11 звезд с асимметричными чертами лица

Лица знаменитых красоток вовсе не так пропорциональны, как кажется

Cosmopolitan
Маленькие дети использовали оба полушария для понимания речи Маленькие дети использовали оба полушария для понимания речи

Для понимания речи здоровые дети используют оба полушария мозга

N+1
Не болеть: 20 продуктов для повышения иммунитета Не болеть: 20 продуктов для повышения иммунитета

Как помочь иммунной системе бороться с болезнями?

Cosmopolitan
Клюворыл провел под водой рекордные три часа сорок две минуты Клюворыл провел под водой рекордные три часа сорок две минуты

Киты клюворылы поставили новый рекорд по погружению для морских млекопитающих

N+1
Открыть в приложении