Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Ночные кошмары: Нарушения сна и как мы с ними живем наяву» «Ночные кошмары: Нарушения сна и как мы с ними живем наяву»

Что науке известно о галлюцинациях, связанных со сном

N+1
Будущее в прошлом: почему доклад академиков-экономистов можно считать предостережением бизнесу и гражданам Будущее в прошлом: почему доклад академиков-экономистов можно считать предостережением бизнесу и гражданам

Появился новый рецепт ускорения российской экономики

Forbes
Новые методы помогут искать воду в лунных кратерах и глубоко под поверхностью Новые методы помогут искать воду в лунных кратерах и глубоко под поверхностью

Ученые пытаются определить, где и сколько льда находится на Луне

ТехИнсайдер
Биологи разработали два новых метода терапии гепатита B Биологи разработали два новых метода терапии гепатита B

РНК-интерференция интерферона смогут снизить активность вируса гепатита В

N+1
Когда медицина перестает быть бумажной: как Москва лечит людей и спасает деревья Когда медицина перестает быть бумажной: как Москва лечит людей и спасает деревья

Как электронная медицина спасает сотни деревьев?

Правила жизни
7 принципов самопомощи для тех, чье сердце сейчас разбито 7 принципов самопомощи для тех, чье сердце сейчас разбито

Предлагаем памятку на случай «не дай бог никому»

Psychologies
Сила притяжения Сила притяжения

Дизайнер Ирина Крашенинникова наполнила квартиру отсылками к космической теме

AD
7 нон-фикшн книг, которые увлекут подростка 7 нон-фикшн книг, которые увлекут подростка

Подборка нон-фикшн произведений для подростков

Популярная механика
Тысячи болезненных укусов: как ведут себя интернет-тролли и что чувствуют их жертвы Тысячи болезненных укусов: как ведут себя интернет-тролли и что чувствуют их жертвы

Отрывок из книги «Я так не хотела» адвоката Кэрри Голдберг об интернет-троллях

Forbes
Парни поделились главными вещами, которым их научили отцы Парни поделились главными вещами, которым их научили отцы

Эти отцовские уроки запоминаются на всю жизнь

Playboy
Муравьиная кислота помогла вырастить сверхчувствительный монокристалл перовскита Муравьиная кислота помогла вырастить сверхчувствительный монокристалл перовскита

Химики вырастили монокристалл для очень чувствительного фотоэлемента

N+1
Либеральный диктатор Навальный. Можно ли прорубить новое окно в Европу без сильной руки Либеральный диктатор Навальный. Можно ли прорубить новое окно в Европу без сильной руки

Противники Навального любят вспоминать о его националистическом прошлом

СНОБ
Летающий танк или летающий гроб? 6 железных фактов о штурмовике Ил-2 Летающий танк или летающий гроб? 6 железных фактов о штурмовике Ил-2

Каким был штурмовик Ил-2?

Maxim
Нетипичная свекровь Нетипичная свекровь

Она никак не может понять, почему сын на неё злится...

Лиза
Война с ценами: как российские власти пытаются сломать рынок Война с ценами: как российские власти пытаются сломать рынок

Регулирование цен может нарушить инвестиционные циклы в отрасли

Forbes
10 фильмов о плохих парнях, которых мы все обожаем 10 фильмов о плохих парнях, которых мы все обожаем

Все большие девочки обожают плохих парней - особенно в кино

Cosmopolitan
10 современныx фильмов про отношения детей и родителей 10 современныx фильмов про отношения детей и родителей

Фильмы на тему родительства, всех его граней и оттенков

Seasons of life
Дамы одевают кавалеров Дамы одевают кавалеров

Ключевые имена в мужской моде сегодня — женские

Robb Report
Отличные фильмы с Мягковым, которые ты мог пропустить Отличные фильмы с Мягковым, которые ты мог пропустить

Андрей Мягков играл не только в «Иронии судьбы» или «Служебном романе»

Maxim
Как увеличить глубокий сон: подробный рассказ о важной стадии ночного отдыха Как увеличить глубокий сон: подробный рассказ о важной стадии ночного отдыха

Определение глубокого сна и его значение для полноценного отдыха

Playboy
Собаки прошли тест на осознание границ своего тела Собаки прошли тест на осознание границ своего тела

Собаки способны воспринимать свое тело как помеху при решении задачи

N+1
Бриллиант высокой кухни Бриллиант высокой кухни

Трюфели — одни из самых изысканных деликатесов мировой кулинарии

Наука и жизнь
13 фактов о коррупции 13 фактов о коррупции

Что такое коррупция и что мы о ней знаем?

Maxim
Алгоритмические войны Алгоритмические войны

Как битвы будущего видят по ту сторону океана

Популярная механика
Затягивают не на шутку: «Топи» и другие жуткие российские мистические сериалы Затягивают не на шутку: «Топи» и другие жуткие российские мистические сериалы

Самые лучшие российские мистические триллеры и детективы

Cosmopolitan
Мне надо сейчас Мне надо сейчас

Известный фотограф Ольга Павлова – о том, как случайно найти свое призвание

Домашний Очаг
Комедийные актеры 80-х, которые куда-то запропастились Комедийные актеры 80-х, которые куда-то запропастились

Что случилось с Чеви Чейзом, Стивом Гуттенбергом, и прочими Стивами Мартинами?

Maxim
Полтора века безумия: как изучали шизофрению раньше и изучают сейчас Полтора века безумия: как изучали шизофрению раньше и изучают сейчас

О безумии людям известно с давних времен

Популярная механика
За что мы любим персонажей Андрея Мягкова За что мы любим персонажей Андрея Мягкова

Мягков у Рязанова играл советского человека таким, каким он был в своей массе

GQ
Накорми меня, если сможешь Накорми меня, если сможешь

Эксперт: как приучить ребенка к здоровой и полезной пище

Лиза
Открыть в приложении