Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Окислительное присоединение на палладии прошло по радикальному механизму Окислительное присоединение на палладии прошло по радикальному механизму

Представление о реакции окислительного присоединения на палладии было неполным

N+1
Как развивалось избирательное право Как развивалось избирательное право

Отрывок из новой книги Александра Замятина «За демократию»

СНОБ
Зоологи подтвердили крайнюю редкость рака у черепах Зоологи подтвердили крайнюю редкость рака у черепах

Почему злокачественные опухоли редко встречаются у черепах

N+1
Одиноким предоставляется Одиноким предоставляется

Старостью с сорока кошками и одиночеством женщин пугают весьма безуспешно

Cosmopolitan
Девушки и яйца: как стильные и вкусные завтраки приносят сотни миллионов Девушки и яйца: как стильные и вкусные завтраки приносят сотни миллионов

Как две девушки сделали бизнес на блюдах с яйцами?

Forbes
«Я не смогла сопротивляться страсти»: Мария Максакова увела Вороненкова из семьи «Я не смогла сопротивляться страсти»: Мария Максакова увела Вороненкова из семьи

Мария Максакова рассказала о своем скандальном браке с Денисом Вороненковым

Cosmopolitan
Спокойно, все под контролем Спокойно, все под контролем

Где Селена Гомес нашла свою зону комфорта и чем ей пришлось пожертвовать?

Glamour
10 мини-сериалов, на которые не жалко потратить хоть все выходные 10 мини-сериалов, на которые не жалко потратить хоть все выходные

Мини-сериал - идеальное блюдо выходного дня

Cosmopolitan
Торт не захочешь! 10 продуктов, которые уберут тягу к сладкому. Мнение диетолога Торт не захочешь! 10 продуктов, которые уберут тягу к сладкому. Мнение диетолога

Как освободиться от сахара?

Cosmopolitan
Я перестала делать из хорошего мужа «идеального отца» Я перестала делать из хорошего мужа «идеального отца»

Почему не нужно решать за мужа, каким он должен быть отцом

Psychologies
«Кошатники» и «собачники»: 6 принципиальных отличий «Кошатники» и «собачники»: 6 принципиальных отличий

Что выбор питомца говорит о нас самих?

Psychologies
«Делаю древнюю мудрость актуальной»: бывший монах из списка Forbes советует, как прокачать свою жизнь «Делаю древнюю мудрость актуальной»: бывший монах из списка Forbes советует, как прокачать свою жизнь

Качества, которые открывают двери к любым целям

Forbes
Зачем ученые подсчитывают фекалии рыб в мировом океане Зачем ученые подсчитывают фекалии рыб в мировом океане

Рыбные фекалии полны углерода, а океан полон фекалий

Популярная механика
Диета молодости Диета молодости

Правильный рацион – ключевой элемент старения

Домашний Очаг
6 самых необычных мостов в мире 6 самых необычных мостов в мире

Такой мост мечтает заполучить любая река!

Maxim
10 самых ядовитых растений 10 самых ядовитых растений

Большинство растений кажутся безобидными, но их не стоит недооценивать

Популярная механика
Как убрать синяк: 8 научно обоснованных способов Как убрать синяк: 8 научно обоснованных способов

Несколько способов, как предотвратить образование гематомы

РБК
Кто торгует генетическими данными умерших людей Кто торгует генетическими данными умерших людей

Интервью с основателем компании, составляющей генетический портрет России

GQ
Физики закрутили луч света в три концентрических спирали Физики закрутили луч света в три концентрических спирали

Физикам удалось поместить три спиральных световых луча друг в друга

N+1
Как стать бизнесменом: подробное руководство для тех, кто хочет зарабатывать Как стать бизнесменом: подробное руководство для тех, кто хочет зарабатывать

Рассказываем, как стать бизнесменом с нуля и не облажаться по полной программе.

Playboy
Где мы настоящие — в соцсетях или в жизни? Ни там ни там… Где мы настоящие — в соцсетях или в жизни? Ни там ни там…

Почему социальный перфекционизм отнимает наши личности

GQ
Как похудеть за неделю Как похудеть за неделю

Неделя – вполне реальный срок для того, чтобы похудеть

Cosmopolitan
40 лет — ни мужа, ни наследства: Пэрис Хилтон и ее необычная судьба 40 лет — ни мужа, ни наследства: Пэрис Хилтон и ее необычная судьба

Чем прославилась Пэрис Хилтон и почему до сих пор не устроила личную жизнь?

Cosmopolitan
Химики создали искусственные сухожилия Химики создали искусственные сухожилия

Этот полимер, сравним по прочности, эластичности и долговечности с сухожилиями

N+1
Я не такая: каким женщинам не нужен феминизм Я не такая: каким женщинам не нужен феминизм

Почему мы все еще не достигли равноправия полов?

Psychologies
Самые безумные и странные традиции средних веков Самые безумные и странные традиции средних веков

Средневековые традиции, которые выходили за все рамки адекватности

Популярная механика
Как Конан Дойл стал Шерлоком Холмсом, расследовал загадочное убийство и исправил одну из крупнейших судебных ошибок XX века Как Конан Дойл стал Шерлоком Холмсом, расследовал загадочное убийство и исправил одну из крупнейших судебных ошибок XX века

Шерлок им бы гордился

Maxim
7 важных книг о старении и долголетии, которые стоит прочесть 7 важных книг о старении и долголетии, которые стоит прочесть

Каков лимит у молодости? Почему мы стареем?

Популярная механика
Муравьиная кислота помогла вырастить сверхчувствительный монокристалл перовскита Муравьиная кислота помогла вырастить сверхчувствительный монокристалл перовскита

Химики вырастили монокристалл для очень чувствительного фотоэлемента

N+1
«Вам просили передать: маловато безумия» «Вам просили передать: маловато безумия»

Рената Литвинова о своем «Северном ветре» и полном матриархате

Weekend
Открыть в приложении