Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Лазуритовые бусины эпохи бронзы из Омана сделали из афганского сырья Лазуритовые бусины эпохи бронзы из Омана сделали из афганского сырья

Ученые проанализировали лазуритовые бусины, которые археологи обнаружили в Омане

N+1
31 способ понять, что за человек перед вами 31 способ понять, что за человек перед вами

Несколько особенностей поведения, которые приоткроют тайну личности близкого

Psychologies
Как люди! Обезьяны могут интуитивно «предугадывать мысли» людей Как люди! Обезьяны могут интуитивно «предугадывать мысли» людей

Способны ли обезьяны интуитивно «читать мысли» других существ?

ТехИнсайдер
Как позволить себе стать собой и изменить жизнь Как позволить себе стать собой и изменить жизнь

Как найти свое место в потоке жизни, как узнать, куда плыть?

Psychologies
Что такое духовность и как ее развивать: 6 способов Что такое духовность и как ее развивать: 6 способов

Кто может называть себя духовно богатой личностью?

Psychologies
10 современныx фильмов про отношения детей и родителей 10 современныx фильмов про отношения детей и родителей

Фильмы на тему родительства, всех его граней и оттенков

Seasons of life
10 изречений Энцо Феррари о жизни, любви и смерти в день его рождения 10 изречений Энцо Феррари о жизни, любви и смерти в день его рождения

Лучшие цитаты Энцо Феррари о любви, успехе, автомобилях, победе и жизни

Maxim
«Между нами все было хорошо, почему же он ушел?» «Между нами все было хорошо, почему же он ушел?»

За таким решением, как уход из семьи, всегда скрывается замалчиваемый кризис

Psychologies
Цианобактерии выжили на марсианских ресурсах Цианобактерии выжили на марсианских ресурсах

Цианобактерии наработали биомассу в условиях низкого давления

N+1
«Мне больно, когда выбирают другого»: есть ли польза от ревности? «Мне больно, когда выбирают другого»: есть ли польза от ревности?

Психолог: почему мы ревнуем и что с этим делать?

Psychologies
Инстинкт собирательства Инстинкт собирательства

Российские женщины-коллекционеры и галеристы о значимых работах из их собраний

Robb Report
Северный «биток»: как устроен бизнес первого в российской Арктике майнинг-отеля Северный «биток»: как устроен бизнес первого в российской Арктике майнинг-отеля

Как устроена первая криптоферма в российской Арктике?

Forbes
В поисках смысла В поисках смысла

Сегодня в кино Юра Борисов нарасхват

OK!
8 самых знаменитых археологических памятников России 8 самых знаменитых археологических памятников России

Известные археологические памятники России

Популярная механика
«Я смог бы сыграть всё» «Я смог бы сыграть всё»

Почему Антон Шагин не снимается в рекламе и не повторяется в ролях

OK!
Этот герой устал, мы ему верим: «Новости со всех концов света» — новый вестерн с Томом Хэнксом в главной роли Этот герой устал, мы ему верим: «Новости со всех концов света» — новый вестерн с Томом Хэнксом в главной роли

«Новости со всех концов света» — неовестерн, очеловечивающий жестоких героев

Forbes
Эскалация конфликта: как холодные гражданские войны становятся «горячими» Эскалация конфликта: как холодные гражданские войны становятся «горячими»

Почему роль насилия в российской политике возрастает

Forbes
Я не подарок Я не подарок

Есть ли надежда, что когда-нибудь эти странные подарки закончатся в продаже?

Cosmopolitan
Долгоногов уличили в биофлуоресценции Долгоногов уличили в биофлуоресценции

Под ультрафиолетовым излучением долгоноги светятся красным и оранжевым

N+1
5 физиологичных поз для сна: найдите свою 5 физиологичных поз для сна: найдите свою

Какие положения во время сна считаются физиологичными и кому они подходят

Psychologies
Даниэль Лозакович: Со Страдивари налегке Даниэль Лозакович: Со Страдивари налегке

Блиц-интервью звезды классической музыки, скрипача Даниэля Лозаковича

СНОБ
Пройдя под парусом проливом Дрейка… Пройдя под парусом проливом Дрейка…

Зрелище надвигающегося штормового заряда из пролива Дрейка завораживает

Наука и жизнь
Как не поссориться с девушкой в День Святого Валентина Как не поссориться с девушкой в День Святого Валентина

5 советов для тех, кто планирует порадовать свою девушку 14 февраля

Maxim
Что посмотреть и попробовать в Туве. Гид «РБК Стиль» Что посмотреть и попробовать в Туве. Гид «РБК Стиль»

Гид по самой загадочной республике России, где есть ларьки и нет супермаркетов

РБК
«Еда для депрессии»: 5 продуктов, которые погрузят тебя в пучину отчаяния «Еда для депрессии»: 5 продуктов, которые погрузят тебя в пучину отчаяния

Если ты грустить собрался, съешь-ка жареной картошки — и открой ворота в ад!

Maxim
«Чтобы стать предпринимателем, нужно разозлиться». Основатель Social Capital Чамат Палихапития — о быстром успехе, ошибках и смысле денег «Чтобы стать предпринимателем, нужно разозлиться». Основатель Social Capital Чамат Палихапития — о быстром успехе, ошибках и смысле денег

Чамат Палихапития — один из самых влиятельных людей в Кремниевой долине

Inc.
Мы уйдем из зоопарка Мы уйдем из зоопарка

Татьяна Алешичева о Берлине 70-х в сериале «Мы дети станции „Зоо“»

Weekend
Обычные фильмы от обычных режиссеров: Гордей Петрик о том, как в России, наконец, появилось жанровое кино Обычные фильмы от обычных режиссеров: Гордей Петрик о том, как в России, наконец, появилось жанровое кино

Нашему кино не хватает простых историй, рассказанных понятным киноязыком

СНОБ
Физики научились управлять движением магнитных вихрей Физики научились управлять движением магнитных вихрей

Сделан важный шаг на пути к полному управлению магнитными вихрями

Наука
Рената Литвинова — о новом фильме, Земфире-композиторе и 13-м часе Рената Литвинова — о новом фильме, Земфире-композиторе и 13-м часе

Интервью с Ренатой Литвиновой о фильме «Северный ветер»

РБК
Открыть в приложении