Программисты разработали платформу для обучения больших нейросетей

N+1Наука

Суперкомпьютеры для обучения нейросетей заменили сетью распределенных вычислений

Григорий Копиев

Maksim Riabinin, Anton Gusev / arXiv.org, 2020

Российские программисты разработали платформу для распределенного обучения больших нейросетей. Она адаптирована для сети из множества разных по мощности компьютеров, любой из которых в любой момент может выйти из процесса. Как и в проектах научных распределенных вычислений, например, Folding@home, такой подход позволяет с помощью множества добровольцев создать сеть, вычислительная мощность которой будет сопоставима с передовыми суперкомпьютерами. Разработчики описали платформу в препринте, доступном на arXiv.org, а также опубликовали на GitHub код пре-альфа версии.

Эффективность работы нейросетевых моделей во многом зависит от их размера и от размера обучающей выборки. Например, лидирующая на момент написания заметки модель обработки естественного языка — GPT-3 — имеет 175 миллиардов параметров и была обучена на 570 гигабайтах текстов. Но для обучения подобного масштаба требуется соответствующая вычислительная мощность, которая из-за дороговизны зачастую недоступна исследовательским группам, не входящим в состав крупных IT-компаний.

Во многих областях науки есть проекты распределенных вычислений, решающие эту проблему с помощью волонтеров: любой человек с доступом к интернету может установить у себя программу, которая будет в фоновом режиме проводить нужные ученым вычисления. Вместе, тысячи или даже миллионы компьютеров бесплатно предоставляют ученым вычислительную сеть с мощностью лидирующих суперкомпьютеров: в 2020 году мощность сети биомолекулярных симуляций

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Все страхи мира: чего боятся создатели Кодекса этики искусственного интеллекта Все страхи мира: чего боятся создатели Кодекса этики искусственного интеллекта

Собрание негативных сценариев развития новой технологии

Forbes
Мама в моей голове: как твои отношения с матерью влияют на твою жизнь Мама в моей голове: как твои отношения с матерью влияют на твою жизнь

Как материнские установки звучат в нашей голове и к чему они могут привести

Cosmopolitan
Топлес: самые интересные научные факты о женской груди Топлес: самые интересные научные факты о женской груди

Она сводит с ума, кормит и даже спасает жизнь

Популярная механика
Не работайте с мудаками Не работайте с мудаками

Что делать, если мудаки вокруг вас?

kiozk originals
Социальные нормы и гендерное насилие: как они связаны? Социальные нормы и гендерное насилие: как они связаны?

Мужчина должен быть сильным и агрессивным, а женщина — покорной и терпеливой?

Psychologies
Маски и страхи: на Венецианском фестивале показали «Конференцию» — мощное кино о «Норд-Осте» от Ивана И. Твердовского Маски и страхи: на Венецианском фестивале показали «Конференцию» — мощное кино о «Норд-Осте» от Ивана И. Твердовского

Один из мощнейших фильмов — российская «Конференция» Ивана И. Твердовского

Forbes
Короткие пальцы и вены: 10 звезд с неидеальной формой рук Короткие пальцы и вены: 10 звезд с неидеальной формой рук

Звезды-герои нашего материала ничуть не комплексуют по поводу формы рук

Cosmopolitan
Кости лисицы помогли пересмотреть представления о миграции охотников ледникового периода Кости лисицы помогли пересмотреть представления о миграции охотников ледникового периода

Древние охотники не мигрировали в более теплые районы с приходом зимы

N+1
«Дорогие товарищи» Андрея Кончаловского — фильм об уроке советской истории, который нельзя прогулять «Дорогие товарищи» Андрея Кончаловского — фильм об уроке советской истории, который нельзя прогулять

«Дорогие товарищи» — черно-белая драма о расстреле демонстрации в Новочеркасске

Esquire
Семь принципов счастливого брака Семь принципов счастливого брака

Или эмоциональный интеллект в любви

kiozk originals
Техника — молодежи Техника — молодежи

О популярности STEM-подхода в школьном образовании

Tatler
Критические будни Критические будни

«Никогда. Редко. Иногда. Всегда» как хроника гендерного неравенства

Weekend
Соседние группы бонобо предпочли охотиться на разную дичь Соседние группы бонобо предпочли охотиться на разную дичь

Корень отличий среди групп бонобо лежит в их культурных особенностях

N+1
Недетская история о подростках: отрывок из «Падения» Анне Провост — о подростковом одиночестве, агрессии и страхе Недетская история о подростках: отрывок из «Падения» Анне Провост — о подростковом одиночестве, агрессии и страхе

Начало нового подросткового романа Анны Провост

Esquire
Зима близко Зима близко

Готовим загородный дом и участок к холодам

Лиза
15 самых знаменитых взломщиков всех времен и народов 15 самых знаменитых взломщиков всех времен и народов

Истории о самых крышесносящих взломах

Maxim
Почти пусто: астрономы выяснили, сколько во Вселенной материи Почти пусто: астрономы выяснили, сколько во Вселенной материи

Международная группа исследователей определила, сколько в космосе вещества

Forbes
Готова ли ты стать мамой: что нужно знать о себе, прежде чем решиться рожать Готова ли ты стать мамой: что нужно знать о себе, прежде чем решиться рожать

Какие вопросы стоит задавать самой себе, прежде чем планировать детей

Cosmopolitan
«Джеймс Бонд филантропии»: создатель duty free Чарльз Фини раздал всё состояние на благотворительность — более $8 млрд «Джеймс Бонд филантропии»: создатель duty free Чарльз Фини раздал всё состояние на благотворительность — более $8 млрд

Чарльз Фини считает, что лучше раздавать деньги при жизни

VC.RU
10 захватывающих фактов про чёрную дыру 10 захватывающих фактов про чёрную дыру

После прочтения этого материала ты навсегда перестанешь их бояться

Maxim
Бисмарк: коварный циник и создатель единой Германии Бисмарк: коварный циник и создатель единой Германии

Немцы редко гордятся методами, которые Бисмарк использовал для достижения целей

Дилетант
Почему Кремль боится санкций США и не боится Евросоюза Почему Кремль боится санкций США и не боится Евросоюза

Неуступчивость в отношениях с Евросоюзом работает

СНОБ
Хотите наладить отношения с мужем? Позаботьтесь об интерьере! Хотите наладить отношения с мужем? Позаботьтесь об интерьере!

Дом — зеркало вашего мира, в нем можно разглядеть отражение проблем с партнером

Psychologies
Что происходит с твоим телом после родов: рассказывает невролог Что происходит с твоим телом после родов: рассказывает невролог

Невролог рассказывает, что нужно знать о материнстве в ключе его профиля

Cosmopolitan
Слушай и трать: как музыка влияет на продажи и популярность бренда Слушай и трать: как музыка влияет на продажи и популярность бренда

Как умело подобранные плей-листы помогают клиентам расставаться с деньгами

РБК
Как сделать хорошую фотографию для «Инстаграма» с точки зрения науки Как сделать хорошую фотографию для «Инстаграма» с точки зрения науки

Научись делать идеальные снимки в Instagram

Maxim
«Бесцветный» «Бесцветный»

История комика Тревора Ноя: ужасы, которые пережил «бесцветный» ребенок в ЮАР

kiozk originals
Шесть лет споров: зачем Microsoft сделала Android-смартфон с двумя экранами в мире, где все устройства одинаковые Шесть лет споров: зачем Microsoft сделала Android-смартфон с двумя экранами в мире, где все устройства одинаковые

И что о Surface Duo говорят обозреватели

VC.RU
Животная страсть Животная страсть

Елена Перминова: о муках совершенствования пресса

Vogue
Китайский космоплан (или нет) вернулся на Землю через два дня после запуска Китайский космоплан (или нет) вернулся на Землю через два дня после запуска

Китайский многоразовый космический корабль совершил успешную посадку

N+1
Открыть в приложении