Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Биология в фокусе: Естественные отделения университетов Российской империи (1830–1900)» «Биология в фокусе: Естественные отделения университетов Российской империи (1830–1900)»

Почему в начале XIX века в университетах было мало практических занятий

N+1
Плесень, прах и тлен от Ренаты Литвиновой. Рецензия на фильм «Северный ветер» Плесень, прах и тлен от Ренаты Литвиновой. Рецензия на фильм «Северный ветер»

Певица смерти и роскоши, греха и стиля неожиданно сняла фильм про Россию

СНОБ
Разработана первая вакцина от птичьего гриппа для коров Разработана первая вакцина от птичьего гриппа для коров

Ученые разработали первую мРНК-вакцину от птичьего гриппа для коров

ТехИнсайдер
Бенедикт Камбербэтч: «Дети – лучший якорь в нашем плаванье» Бенедикт Камбербэтч: «Дети – лучший якорь в нашем плаванье»

Трудно поверить, но Бенедикт Камбербэтч считает себя личностью вполне заурядной

Psychologies
Вся правда о холестерине Вся правда о холестерине

Что на самом деле вызывает заболевания сердца и сосудов

kiozk originals
9 странных бзиков глав государств 9 странных бзиков глав государств

Дурацкие увлечения и безобидные привычки современных государственных лидеров.

Maxim
Химики научили компьютер определять происхождение вина по химическому составу Химики научили компьютер определять происхождение вина по химическому составу

Ученые объяснили влияние климата на свойства аргентинского вина

N+1
Готов ли ты стать отцом? Готов ли ты стать отцом?

Правила обращения с беременной женщиной

Maxim
Иностранка в Японии: ошибки, которые я совершала Иностранка в Японии: ошибки, которые я совершала

Наша героиня Елена уже семь лет живет и работает в Японии

Psychologies
Джастин Тимберлейк в «Палмере» примеряет на себя амплуа разочарованного социопата Джастин Тимберлейк в «Палмере» примеряет на себя амплуа разочарованного социопата

«Палмер» — драматическая картина о дружбе

GQ
Заложница собственного отца и жертва поп-культуры? Что мы узнали из документального фильма The New York Times о Бритни Спирс Заложница собственного отца и жертва поп-культуры? Что мы узнали из документального фильма The New York Times о Бритни Спирс

Как развивалась карьера Бритни Спирс почему она 13 лет не принимает решения сама

Esquire
Сестра таланта Сестра таланта

В весенне-летних коллекциях о себе решили напомнить почти забытые нами мини-юбки

Vogue
Рассказ Юрий Беккера «Не/праздничная история» Рассказ Юрий Беккера «Не/праздничная история»

Юрий Беккер написал рассказ о любви в Москве в наши дни

СНОБ
Детективные фильмы и сериалы, в которых никого не убивают Детективные фильмы и сериалы, в которых никого не убивают

Несколько детективных фильмов и сериалов, в которых не огорчают убийствами

Maxim
«Убийство Уильяма Норвичского. Происхождение кровавого навета в средневековой Европе» «Убийство Уильяма Норвичского. Происхождение кровавого навета в средневековой Европе»

Медиевист заново рассматривает обстоятельства смерти Уильяма Норвичского

N+1
Веселая вдова: лучшая роль Мишель Пфайффер — женщина, которая неудачно спланировала свою смерть Веселая вдова: лучшая роль Мишель Пфайффер — женщина, которая неудачно спланировала свою смерть

Почему фильм «Уйти не прощаясь» может принести «Оскар» Мишель Пфайффер

Forbes
Как повысить иммунитет и избежать авитаминоза? Как повысить иммунитет и избежать авитаминоза?

Наверняка весной вы замечали за собой постоянную усталость и разбитость

GQ
К растяжке через расслабление: 5 шагов к гибкости К растяжке через расслабление: 5 шагов к гибкости

Мечтаете сесть на шпагат или встать на мостик?

Psychologies
Кое-что о тактике российской оппозиции, или Слово в защиту повестки «малых дел» Кое-что о тактике российской оппозиции, или Слово в защиту повестки «малых дел»

Владислав Иноземцев: российское протестное движение пересекло рубеж развития

СНОБ
Педофилия, инцест и еще 7 сексуальных табу, против которых борется современное общество Педофилия, инцест и еще 7 сексуальных табу, против которых борется современное общество

Узнай, чего боялись наши предки, и чего боятся до сих пор граждане разных стран

Maxim
Как избавиться от прыщей: действенные способы, которые сделают из тебя красавчика Как избавиться от прыщей: действенные способы, которые сделают из тебя красавчика

Основные причины появления акне и методы борьбы с ним

Playboy
Кругом обман: йогурт не так полезен, как кажется Кругом обман: йогурт не так полезен, как кажется

Рассказываем, стоит ли верить в мифы о пользе йогуртов

Cosmopolitan
Почему власть отрекается от общественных организаций Почему власть отрекается от общественных организаций

Кремль не умеет и не хочет работать с гражданским обществом

СНОБ
Больше, больше объема! Откуда пришел модный оверсайз и зачем он нужен Больше, больше объема! Откуда пришел модный оверсайз и зачем он нужен

Почему оверсайз вошел в моду и задержался там на несколько десятилетий

Cosmopolitan
«Через 20 лет появятся технологии радикального продления жизни — нужно просто дожить». Антиэйджинг-предприниматели — о том, возможно ли бессмертие «Через 20 лет появятся технологии радикального продления жизни — нужно просто дожить». Антиэйджинг-предприниматели — о том, возможно ли бессмертие

Бессмертие перестало быть чем-то из разряда сказок и ненаучной фантастики

Inc.
На позитиве: почему нужно есть шоколад на диете На позитиве: почему нужно есть шоколад на диете

Почему шоколад может быть полезен тем, кто желает похудеть

Cosmopolitan
10 фильмов о плохих парнях, которых мы все обожаем 10 фильмов о плохих парнях, которых мы все обожаем

Все большие девочки обожают плохих парней - особенно в кино

Cosmopolitan
Миллиардер Марк Кьюбан: Понимание этой простой концепции сделает вас богатыми в современном мире Миллиардер Марк Кьюбан: Понимание этой простой концепции сделает вас богатыми в современном мире

Сегодня ценность любого актива определяется тем, что думают об этом люди

Inc.
Как Конан Дойл стал Шерлоком Холмсом, расследовал загадочное убийство и исправил одну из крупнейших судебных ошибок XX века Как Конан Дойл стал Шерлоком Холмсом, расследовал загадочное убийство и исправил одну из крупнейших судебных ошибок XX века

Шерлок им бы гордился

Maxim
Настоящий доктор Лектер: кто был прототипом самого жуткого киноманьяка Настоящий доктор Лектер: кто был прототипом самого жуткого киноманьяка

Имя Ганнибала Лектера известно всем, но кто был его прообразом?

Cosmopolitan
Открыть в приложении