Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Кухня Древнего мира» «Кухня Древнего мира»

О сырах, которые в Древнем Риме считались скромной пищей

N+1
«Если я не смогу победить, то хотя бы буду смелым»: как устроена спортивная благотворительность в России «Если я не смогу победить, то хотя бы буду смелым»: как устроена спортивная благотворительность в России

Кто развивает спортивно-социальные благотворительные проекты в России

Forbes
Нерабочий парашют и утечка ядовитого газа: 5 страшных космических катастроф Нерабочий парашют и утечка ядовитого газа: 5 страшных космических катастроф

5 крупных катастроф, когда-либо происходивших в космосе

ТехИнсайдер
Когда ресницы нужно срочно снимать: SOS-сигналы, которые они тебе посылают Когда ресницы нужно срочно снимать: SOS-сигналы, которые они тебе посылают

Лэшмейкер рассказывает обо всем, что нужно знать перед наращиванием ресниц

Cosmopolitan
В космосе обнаружили разрушительное явление, которому нет равных по масштабу В космосе обнаружили разрушительное явление, которому нет равных по масштабу

В просторах Вселенной разворачиваются драмы поистине космического масштаба

Inc.
19 существ, которые могут тебя съесть 19 существ, которые могут тебя съесть

Эти существа могут съесть человека

Maxim
Самые бесполезные вещи, за которые были заплачены баснословные деньги Самые бесполезные вещи, за которые были заплачены баснословные деньги

Список идиотских и безумно дорогих покупок

Maxim
Всё ниже, и ниже, и ниже Всё ниже, и ниже, и ниже

Аппарат «Витязь-Д» совершил погружение на дно Марианской впадины

Наука
Правила жизни Айн Рэнд Правила жизни Айн Рэнд

Писатель, скончалась в 1982 году в Нью-Йорке

Esquire
Анастасия Миронова Анастасия Миронова

Наша муза и блогер-феномен Анастасия Миронова построила бизнес-империю

Собака.ru
Комедийные актеры 80-х, которые куда-то запропастились Комедийные актеры 80-х, которые куда-то запропастились

Что случилось с Чеви Чейзом, Стивом Гуттенбергом, и прочими Стивами Мартинами?

Maxim
Изобрести велосипед на последней миле: как стартап из Краснодара вырос в 21 раз за счет ИИ и «ВкусВилла» Изобрести велосипед на последней миле: как стартап из Краснодара вырос в 21 раз за счет ИИ и «ВкусВилла»

Как стартап «Чекбокс» способен составить конкуренцию лидерам индустрии доставки

Forbes
«В чем сила, брат?» 7 фильмов Алексея Балабанова, которые нужно пересмотреть «В чем сила, брат?» 7 фильмов Алексея Балабанова, которые нужно пересмотреть

Алексей Балабанов - самый противоречивый российский режиссер

Cosmopolitan
Каменные гости:  как топ-менеджер «Адаманта» стал коллекционером минералов Каменные гости:  как топ-менеджер «Адаманта» стал коллекционером минералов

Как Владимир Голубев увлекся камнями и что ему удалось собрать

Forbes
«Зай, а что тут нажать?»: почему мужчины беспомощны в быту (или делают вид) «Зай, а что тут нажать?»: почему мужчины беспомощны в быту (или делают вид)

Почему мужчины верят, что не в состоянии справиться с домашними обязанностями

Cosmopolitan
Химики создали искусственные сухожилия Химики создали искусственные сухожилия

Этот полимер, сравним по прочности, эластичности и долговечности с сухожилиями

N+1
Как позволить себе стать собой и изменить жизнь Как позволить себе стать собой и изменить жизнь

Как найти свое место в потоке жизни, как узнать, куда плыть?

Psychologies
Главные признаки «почти идеального» партнера Главные признаки «почти идеального» партнера

Качества, которыми должен обладать партнер, чтобы отношения с ним были здоровыми

Psychologies
Ма, ну сколько можно! Ма, ну сколько можно!

Мамочка, хватит уже критиковать подростка – дай ему возможность ошибаться

Лиза
Наркотики и аборты без анестезии: как обращались с детьми-актерами в Голливуде Наркотики и аборты без анестезии: как обращались с детьми-актерами в Голливуде

Голливуд — фабрика грез с двойным дном

Cosmopolitan
Mustang против Camaro: шесть раундов за титул лучшего пони-кара в истории Mustang против Camaro: шесть раундов за титул лучшего пони-кара в истории

Это соперничество по крутости запросто сравнится с дерби «Спартак» – ЦСКА

Популярная механика
Эффект Netflix: как сериалы делают модными шахматы и помогают продавать кроссовки Эффект Netflix: как сериалы делают модными шахматы и помогают продавать кроссовки

Современные сериалы могут поднять продажи чего угодно

Forbes
“Нам нравится щекотать друг другу мозг” “Нам нравится щекотать друг другу мозг”

Конфликтолог Андрей Кёниг помогает снизить накал страстей в паре

Psychologies
10 самых редких наборов LEGO, производившихся серийно 10 самых редких наборов LEGO, производившихся серийно

Бывают нумизматы, бывают филателисты, а бывают – коллекционеры LEGO

Популярная механика
Новый Дикий Запад: как пользователи Clubhouse научились зарабатывать в соцсети Новый Дикий Запад: как пользователи Clubhouse научились зарабатывать в соцсети

Как в Clubhouse зарождается рекламный рынок и сколько зарабатывают прямо сейчас

Forbes
Новый контракт: как снизить уровень бедности в России Новый контракт: как снизить уровень бедности в России

В России социальные выплаты не всегда доходят до тех, кто в них нуждается

Forbes
Функциональная МРТ указала на два пути формирования алкоголизма в мозге подростков Функциональная МРТ указала на два пути формирования алкоголизма в мозге подростков

К выпивке подростков побуждает повышенное включение защитных реакций

N+1
Самые безумные и странные традиции средних веков Самые безумные и странные традиции средних веков

Средневековые традиции, которые выходили за все рамки адекватности

Популярная механика
Что приготовить из консервированного тунца, найденного в холодильнике: 8 крутых рецептов Что приготовить из консервированного тунца, найденного в холодильнике: 8 крутых рецептов

Что приготовить из тунца, консервированного в масле?

Playboy
А ты пиши А ты пиши

Линор Горалик — о свободе творчества в мире, состоящем из ограничений

Vogue
Открыть в приложении