Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Неандертальцы сделали ретушеры из костей пещерного льва Неандертальцы сделали ретушеры из костей пещерного льва

Неандертальцы изготавливали предметы из костей пещерных львов

N+1
Комсомольский комсомолец Комсомольский комсомолец

Уголок желтой прессы

Maxim
Доказано: физическая активность на свежем воздухе полезнее, чем в помещении Доказано: физическая активность на свежем воздухе полезнее, чем в помещении

Как свежий воздух усиливает эффект от физической активности

ТехИнсайдер
Временной кристалл впервые создали при комнатной температуре и в микромасштабе Временной кристалл впервые создали при комнатной температуре и в микромасштабе

Физики создали магнонный кристалл с периодической структурой во времени

N+1
4 ингредиента, которых не должно быть в твоем шампуне: мнение трихологов 4 ингредиента, которых не должно быть в твоем шампуне: мнение трихологов

Ингредиенты в шампунях, которые могут нанести урон здоровью кожи головы

VOICE
Шведский роман-катастрофа, оставляющий надежду: фрагмент новой книги Микаеля Ниеми «Дамба» Шведский роман-катастрофа, оставляющий надежду: фрагмент новой книги Микаеля Ниеми «Дамба»

Роман Микаеля Ниеми «Дамба» погружает в атмосферу шведской глубинки

Esquire
Чем заняться перед смертью Чем заняться перед смертью

Как сделать так, чтобы уход из этого мира был наполнен смысл для самого себя?

СНОБ
Педофилия, инцест и еще 7 сексуальных табу, против которых борется современное общество Педофилия, инцест и еще 7 сексуальных табу, против которых борется современное общество

Узнай, чего боялись наши предки, и чего боятся до сих пор граждане разных стран

Maxim
Русская соборность 1921 года: несостоявшееся и состоявшееся Русская соборность 1921 года: несостоявшееся и состоявшееся

Церковный собор весной 1921 года и кровавые репрессии

Наука
Как повысить иммунитет и избежать авитаминоза? Как повысить иммунитет и избежать авитаминоза?

Наверняка весной вы замечали за собой постоянную усталость и разбитость

GQ
В погоне за молодостью В погоне за молодостью

Как в 50 выглядеть на 30

Добрые советы
Искатель жизни: чем уникальна новая марсианская миссия Искатель жизни: чем уникальна новая марсианская миссия

Амбициозные задачи марсохода Perseverance и вертолета Ingenuity

Forbes
7 скрытых опасностей старых квартир 7 скрытых опасностей старых квартир

Что нужно иметь при себе покупателю квартиры в старом доме

Maxim
Когда ресницы нужно срочно снимать: SOS-сигналы, которые они тебе посылают Когда ресницы нужно срочно снимать: SOS-сигналы, которые они тебе посылают

Лэшмейкер рассказывает обо всем, что нужно знать перед наращиванием ресниц

Cosmopolitan
Почему ругаться матом, нарушать социальные нормы и тупить полезно: объясняет психолог Почему ругаться матом, нарушать социальные нормы и тупить полезно: объясняет психолог

Иногда рамки нам очень сильно вредят

Playboy
Нас не сломаешь! Нас не сломаешь!

Как избежать остеопороза

Лиза
Помогать другим – норма Помогать другим – норма

Почему люди участвуют в благотворительности?

Домашний Очаг
Валерия: «Удивляет все, что происходит на сцене» Валерия: «Удивляет все, что происходит на сцене»

Валерия все успевает и всегда остается молодой, красивой и безупречно элегантной

Лиза
Люк Бессон Люк Бессон

Правила жизни Люка Бессона

Esquire
Какой получилась игра The Medium — первый в истории хоррор с двумя реальностями в одном экране Какой получилась игра The Medium — первый в истории хоррор с двумя реальностями в одном экране

The Medium — самый дорогой проект студии Bloober Team, и это их лучшая игра

Esquire
Биолог — об исчезающих видах, экоциде и предсказании эпидемий Биолог — об исчезающих видах, экоциде и предсказании эпидемий

Сколько существует видов жизни на Земле

РБК
Космические нейтрино рождаются квазарами Космические нейтрино рождаются квазарами

Нейтрино рождаются вблизи черных дыр в далеких активных галактиках

Популярная механика
Отличные фильмы с Мягковым, которые ты мог пропустить Отличные фильмы с Мягковым, которые ты мог пропустить

Андрей Мягков играл не только в «Иронии судьбы» или «Служебном романе»

Maxim
Внутренние революционеры с благими намерениями: почему протесты подтолкнули людей переходить на госслужбу Внутренние революционеры с благими намерениями: почему протесты подтолкнули людей переходить на госслужбу

Что за люди потянулись к госслужбе и чего они хотят на самом деле?

Forbes
Обмани меня Обмани меня

Амурные аферисты: самые распространенные способы брачного мошенничества

Лиза
Правильное питание: инструкция для начинающих Правильное питание: инструкция для начинающих

Что и как есть с пользой и без строгих запретов

РБК
Король возвращается Король возвращается

Актер Эдди Мерфи возвращается в большое кино

Glamour
Алиса Фрейндлих и другие звезды «Служебного романа» 40 лет спустя Алиса Фрейндлих и другие звезды «Служебного романа» 40 лет спустя

Как сейчас выглядят звезды «Служебного романа»

Cosmopolitan
МДМА помог при алкоголизме МДМА помог при алкоголизме

Психотерапия алкоголизма с использованием МДМА показала эффективность

N+1
Какое количество шоколада может убить человека Какое количество шоколада может убить человека

Что будет, если съесть сразу несколько килограмм шоколада?

Популярная механика
Открыть в приложении