Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Окислительное присоединение на палладии прошло по радикальному механизму Окислительное присоединение на палладии прошло по радикальному механизму

Представление о реакции окислительного присоединения на палладии было неполным

N+1
«Без везения не обошлось. Но должно быть что-то больше, чем везение»: Юрий Мильнер о принципах, инвестициях и космосе «Без везения не обошлось. Но должно быть что-то больше, чем везение»: Юрий Мильнер о принципах, инвестициях и космосе

Главное из большого интервью Юрия Мильнера проекту «Русские норм»

VC.RU
Главными последствиями засух последних лет назвали голод и кризис гидроэнергетики Главными последствиями засух последних лет назвали голод и кризис гидроэнергетики

Какие ужасные вещи назвали главными последствиями засух

N+1
Идущие вместе Идущие вместе

Похоже, в моде, как некогда в искусстве, появляются свои школы

Vogue
Помело: польза, вред, как есть и что приготовить — рецепт шеф-повара Помело: польза, вред, как есть и что приготовить — рецепт шеф-повара

Чем полезно помело и как правильно его есть?

РБК
В чертах лица латиноамериканцев обнаружили наследие денисовцев В чертах лица латиноамериканцев обнаружили наследие денисовцев

Ученые из 13 стран выявили у латиноамериканцев гены, связанные с чертами лица

N+1
Убрать излишки Убрать излишки

С чего начать, если вы решили привести себя в порядок после затянувшейся зимы?

Здоровье
Химики научили компьютер определять происхождение вина по химическому составу Химики научили компьютер определять происхождение вина по химическому составу

Ученые объяснили влияние климата на свойства аргентинского вина

N+1
Зеркальные нейтроны снизили предел массы нейтронных звезд Зеркальные нейтроны снизили предел массы нейтронных звезд

Свойства зеркального вещества ограничиваются из астрофизических наблюдений

N+1
Термоядерный реактор: начало сборки Термоядерный реактор: начало сборки

Как российские ученые приняли участи в разработке реактора ИТЭР

Наука
Честная практика Честная практика

Двенадцать откровенных вопросов актрисе Варваре Шмыковой

Cosmopolitan
История в поколениях История в поколениях

Семейная компания FiNEX отмечает в этом году 20-летие

SALON-Interior
В деревню, в глушь В деревню, в глушь

Интервью с Эмили Блант о ее роли в фильме «Дикая парочка», детях и семье

OK!
Сестра таланта Сестра таланта

В весенне-летних коллекциях о себе решили напомнить почти забытые нами мини-юбки

Vogue
«Цена от балды!»: почему в Сингапуре самые дорогие в мире автомобили «Цена от балды!»: почему в Сингапуре самые дорогие в мире автомобили

Что скажешь про хэтчбек «гольф»-класса за 100 тысяч евро?..

Maxim
В израильском зоопарке обнаружили два одинаковых римских саркофага В израильском зоопарке обнаружили два одинаковых римских саркофага

Памятники античной эпохи оказались открыты заново

N+1
Детективные фильмы и сериалы, в которых никого не убивают Детективные фильмы и сериалы, в которых никого не убивают

Несколько детективных фильмов и сериалов, в которых не огорчают убийствами

Maxim
7 скрытых опасностей старых квартир 7 скрытых опасностей старых квартир

Что нужно иметь при себе покупателю квартиры в старом доме

Maxim
Как говорить, чтобы тебя все слушали Как говорить, чтобы тебя все слушали

Как сделать так, чтобы тебя слушали в любой компании из 2, 17 и 639 человек

Maxim
Какаду помогли австралийцам прополоть газоны Какаду помогли австралийцам прополоть газоны

Большие желтохохлые какаду оказались отличными садовниками

N+1
Настоящий доктор Лектер: кто был прототипом самого жуткого киноманьяка Настоящий доктор Лектер: кто был прототипом самого жуткого киноманьяка

Имя Ганнибала Лектера известно всем, но кто был его прообразом?

Cosmopolitan
Ночь в пограничном музее: виртуальная экскурсия по музею ФСБ Ночь в пограничном музее: виртуальная экскурсия по музею ФСБ

Нам удалось проникнуть в святая святых ФСБ!

Maxim
Если сотрудник вечно жалуется вам на жизнь: что можно сделать Если сотрудник вечно жалуется вам на жизнь: что можно сделать

Что делать, если ваш коллега решил «поплакаться в жилетку»

Psychologies
Правила жизни Пэрис Хилтон Правила жизни Пэрис Хилтон

Правила жизни светской львицы Пэрис Хилтон

Esquire
Уроки бизнеса в русской классике: как плохое ТЗ, русский комплекс неполноценности и скрепы привели к провалу Левши Уроки бизнеса в русской классике: как плохое ТЗ, русский комплекс неполноценности и скрепы привели к провалу Левши

Отрывок из книги «Бесполезная классика» Леонида Клейна

Inc.
В жизни есть место подвигу В жизни есть место подвигу

Наши героини о том, как они борются с раком — и побеждают

Tatler
Безумный художник: история скандальной жизни Оскара Кокошки! Безумный художник: история скандальной жизни Оскара Кокошки!

Художник Оскар Кокошка заслуживает внимания по множеству причин

Maxim
Внутренние революционеры с благими намерениями: почему протесты подтолкнули людей переходить на госслужбу Внутренние революционеры с благими намерениями: почему протесты подтолкнули людей переходить на госслужбу

Что за люди потянулись к госслужбе и чего они хотят на самом деле?

Forbes
Что посмотреть и попробовать в Адыгее. Гид «РБК Стиль» Что посмотреть и попробовать в Адыгее. Гид «РБК Стиль»

Адыгея — легко добраться, красиво, сытно и недорого

РБК
Трудно быть боссом Трудно быть боссом

Типичные ошибки, которые совершают начинающие руководители: как их избежать?

Cosmopolitan
Открыть в приложении