Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Астрономы увидели старт образования экзопланет в протопланетном диске Астрономы увидели старт образования экзопланет в протопланетном диске

Как образовываются твердые тела в диске протозвезды

N+1
Что делать, если оштрафовали за разметку под снегом. Инструкция Что делать, если оштрафовали за разметку под снегом. Инструкция

Как обжаловать «письмо счастья»?

РБК
Известный по единственному крылу вид козодоев оказался гибридом Известный по единственному крылу вид козодоев оказался гибридом

Как ученые раскрыли одну из главных орнитологических загадок спустя 35 лет

N+1
Детокс на дому Детокс на дому

Что необходимо для хорошего самочувствия ранней весной?

Здоровье
Какое пиво лучше с оливье, борщом, окрошкой: ответ специалиста Какое пиво лучше с оливье, борщом, окрошкой: ответ специалиста

Крайне необычный варианты гастрономической пары к пиву

Maxim
Жизнь как стартап Жизнь как стартап

Строй карьеру по законам Кремниевой долины

kiozk originals
«Погребальный звон по карьере Вуди Аллена»: на HBO вышло расследование о семье режиссера «Погребальный звон по карьере Вуди Аллена»: на HBO вышло расследование о семье режиссера

В чем суть конфликта в семье Вуди Аллена и как мир воспринял новое расследование

Forbes
От мини до гендерной нейтральности и авангарда: как эволюционировал стиль Шарлотты Рэмплинг От мини до гендерной нейтральности и авангарда: как эволюционировал стиль Шарлотты Рэмплинг

Стиль актрисы Шарлотты Рэмплинг всегда был прогрессивным для своего времени

Esquire
20 забавных фактов о пингвинах 20 забавных фактов о пингвинах

20 фактов об одних из самых обаятельных существах на Земле

Популярная механика
Актер + актриса: почему распадаются красивые звездные пары Актер + актриса: почему распадаются красивые звездные пары

Психологи: знаменитостям не чужды кризисы, через которые проходят пары

Cosmopolitan
13,5 важнейших революций 13,5 важнейших революций

Краткий обзор революций, перевернувших мир

Maxim
Люк Бессон Люк Бессон

Правила жизни Люка Бессона

Esquire
Длиннорогие ватуси Длиннорогие ватуси

От скрещивания египетской породы коров с зебу произошла порода ватуси

Наука и жизнь
Ма, ну сколько можно! Ма, ну сколько можно!

Мамочка, хватит уже критиковать подростка – дай ему возможность ошибаться

Лиза
Ученые установили, почему родители девочек разводятся чаще, чем родители мальчиков Ученые установили, почему родители девочек разводятся чаще, чем родители мальчиков

Почему число разводов стремительно возрастает, когда дочь становится подростком

Maxim
Не только баскетбол и кроссовки: посмотрите, как Майкл Джордан играл в гольф и превосходно одевался для этого Не только баскетбол и кроссовки: посмотрите, как Майкл Джордан играл в гольф и превосходно одевался для этого

Как хобби может идти рука об руку с безупречным стилем

Esquire
5 способов экологично выразить свои эмоции 5 способов экологично выразить свои эмоции

Эмоции неподвластны воле, они рождаются внутри нас и требуют выхода

Psychologies
Не только родинки: 7 признаков меланомы, которые просто не замечают Не только родинки: 7 признаков меланомы, которые просто не замечают

Меланома – одно из самых опасных онкологических заболеваний

Cosmopolitan
Лучи поддержки Лучи поддержки

Зачем над растениями вешают фиолетовые лампы

N+1
В США впервые клонировали вымирающего американского хорька В США впервые клонировали вымирающего американского хорька

Клонирование может повысить генетическое разнообразие вида

N+1
5 причин, по которым нам нужен секспросвет 5 причин, по которым нам нужен секспросвет

Зачем нашим детям нужно половое воспитание и почему оно не приведет к «разврату»

Cosmopolitan
Какие проблемы суррогатного материнства решит нотариус Какие проблемы суррогатного материнства решит нотариус

Эксперт объясняет, как нотариус помогает регулировать суррогатное материнство

СНОБ
Пэрис Хилтон 40 лет. Как последний столп гламура держится на плаву Пэрис Хилтон 40 лет. Как последний столп гламура держится на плаву

Флагману селебрити-культуры Пэрис Хилтон удалось не исчезнуть с радаров

РБК
Ад каннибалов: какой получилась игра-хоррор Little Nightmares II Ад каннибалов: какой получилась игра-хоррор Little Nightmares II

Little Nightmares II — продолжение игры мире, где взрослые охотятся на детей

Esquire
Цифровой Левиафан: как политика влияет на развитие технологий Цифровой Левиафан: как политика влияет на развитие технологий

Почему проваливается российская цифровизация?

Forbes
Невероятная жизнь скрипача Оле Булла, которого называли «Элвисом XIX века» Невероятная жизнь скрипача Оле Булла, которого называли «Элвисом XIX века»

Его слава парадоксальным образом угасла сразу после смерти

Maxim
Лора Дерн. Дикая сердцем Лора Дерн. Дикая сердцем

Как нестандартная внешность и возраст помогли актрисе Лоре Дерн

Караван историй
Был спрос, деньги и помощь Disney, но все равно обанкротились: как провалился перспективный бренд мороженого Ample Hills Был спрос, деньги и помощь Disney, но все равно обанкротились: как провалился перспективный бренд мороженого Ample Hills

Что будет, если вложить в рост бизнеса миллионы, но экономить на оборудовании

VC.RU
Открыта странная, ранее неизвестная форма магнетизма у двухмерных материалов Открыта странная, ранее неизвестная форма магнетизма у двухмерных материалов

Немного о двумерном мире наноразмерных материалов, таких как графен

Популярная механика
10 самых ядовитых растений 10 самых ядовитых растений

Большинство растений кажутся безобидными, но их не стоит недооценивать

Популярная механика
Открыть в приложении