Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Происхождение вкусов: Как любовь к еде сделала нас людьми» «Происхождение вкусов: Как любовь к еде сделала нас людьми»

Как мозг запоминает и классифицирует запахи

N+1
Интервью с белорусским акционистом Алексеем Кузьмичом ‎о политическом искусстве и критике протестов Интервью с белорусским акционистом Алексеем Кузьмичом ‎о политическом искусстве и критике протестов

Белорусский акционист Алексей Кузьмич — о том, за что критикует оппозицию

СНОБ
Хронический стресс ухудшил слух мышей Хронический стресс ухудшил слух мышей

У мышей под действием хронического стресса ухудшился слух

N+1
Пористый полимерный каркас позволил мышам эффективней нарастить мышечные клетки Пористый полимерный каркас позволил мышам эффективней нарастить мышечные клетки

Ученые предложили использовать пористый материал в тканевой инженерии

N+1
Это не лень, а депрессия: 5 сигналов, что тебе нужна помощь Это не лень, а депрессия: 5 сигналов, что тебе нужна помощь

Как отличить депрессию от усталости или лени

VOICE
Как устроена выставка Cartier в Эрмитаже Как устроена выставка Cartier в Эрмитаже

Выставка Cartier — итог партнерства музея и французского ювелирного дома

РБК
Как сделать волосы блестящими: 10 секретных способов Как сделать волосы блестящими: 10 секретных способов

10 действительно полезных способов сделать твои волосы блестящими

Cosmopolitan
Читаем свои руки: что такое хиромантия и как ее использовать в личных целях Читаем свои руки: что такое хиромантия и как ее использовать в личных целях

О чем нам могут рассказать наши ладони?

Cosmopolitan
Снова как девочки! 8 причесок, которые молодят звезд после 35 Снова как девочки! 8 причесок, которые молодят звезд после 35

Мы собрали самые удачные прически голливудских знаменитостей

Cosmopolitan
Призрак успеха: как фильм «Ганнибал» ввел весь Голливуд в заблуждение Призрак успеха: как фильм «Ганнибал» ввел весь Голливуд в заблуждение

Почему «Ганнибал» — коммерчески спорная идея

Forbes
Роскошь Востока: турецкие сериалы для тех, кому понравился «Великолепный век» Роскошь Востока: турецкие сериалы для тех, кому понравился «Великолепный век»

Самые успешные сериальные проекты турецкого кинематографа

Cosmopolitan
Штаны вместо юбки: как на самом деле одевалась Хюррем Султан: сериал VS жизнь Штаны вместо юбки: как на самом деле одевалась Хюррем Султан: сериал VS жизнь

Как же на самом деле одевалась Роксолана в реальной жизни

Cosmopolitan
Как выглядят Как выглядят

Результаты исследования новейшего кратера газового выброса на Ямале

Популярная механика
Как поступить в сложной ситуации? Подскажут метафорические карты Как поступить в сложной ситуации? Подскажут метафорические карты

Метафорические карты помогут определить свою позицию накануне важного события

Psychologies
Экспресс-диета на мочегонных чаях - почему лучше не рисковать? Экспресс-диета на мочегонных чаях - почему лучше не рисковать?

Так ли идеальны и безопасны для твоего здоровья чаи-диуретики?

Cosmopolitan
Идеальная мужская аптечка: какие лекарства оставить, а какие скормить врагам Идеальная мужская аптечка: какие лекарства оставить, а какие скормить врагам

Даже у самого сурового мужчины дома должны быть эти лекарства

Maxim
Не спать всю ночь и пережить день? Легко! Не спать всю ночь и пережить день? Легко!

Как оставаться бодрой после бессонной ночи?

Cosmopolitan
Самые интересные факты про Джона Траволту Самые интересные факты про Джона Траволту

Звезда, которая нас покинула, чтобы вернуться сквозь годы

Maxim
В США впервые клонировали вымирающего американского хорька В США впервые клонировали вымирающего американского хорька

Клонирование может повысить генетическое разнообразие вида

N+1
Египтологи восстановили историю египетской мумии в глиняном панцире Египтологи восстановили историю египетской мумии в глиняном панцире

Твердая оболочка использовалась для восстановления поврежденного тела мумии

N+1
Обнажить седины Обнажить седины

Чем сильней проседь, тем ближе закат жизни и немощь?

Psychologies
Брокер или мошенник: как работают схемы с фейковыми инвестициями в акции и криптовалюты Брокер или мошенник: как работают схемы с фейковыми инвестициями в акции и криптовалюты

Как мошенники отбирают деньги, пользуясь доверчивостью россиян

Forbes
Наука о землетрясениях, вулканах и гораздо большем Наука о землетрясениях, вулканах и гораздо большем

Сколько же на самом деле происходит землетрясений и извержений в мире и России

Наука
Ботокс: что нужно знать, прежде чем принимать решение Ботокс: что нужно знать, прежде чем принимать решение

Что лучше знать до инъекций ботокса и как он влияет на красоту и здоровье

РБК
«Аллен против Фэрроу» — документальный сериал об обвинениях в насилии в адрес режиссера. Можно ли ему верить — или пора «отменять» Вуди Аллена? «Аллен против Фэрроу» — документальный сериал об обвинениях в насилии в адрес режиссера. Можно ли ему верить — или пора «отменять» Вуди Аллена?

«Аллен против Фэрроу» — сериал о #metoo, абьюзе и исторической памяти

Esquire
Как начать заниматься в тренажерном зале: 16 советов от мировых тренеров Как начать заниматься в тренажерном зале: 16 советов от мировых тренеров

Как правильно начать заниматься фитнесом, сохранить мотивацию и избежать травм

Playboy
А вдруг это рак? Надо ли бояться генетической предрасположенности к онкологии А вдруг это рак? Надо ли бояться генетической предрасположенности к онкологии

Эксперт: следите за здоровьем и не бойтесь новообразований

Cosmopolitan
7 диких развлечений наших предков 7 диких развлечений наших предков

В XIX веке люди умели повеселиться: у тебя нынешнего волосы встанут дыбом

Maxim
«Не нравится феминизм — учите матчасть»: Яна Чурикова — о равноправии, «людях из телека» и своем новом шоу «Не нравится феминизм — учите матчасть»: Яна Чурикова — о равноправии, «людях из телека» и своем новом шоу

Яна Чурикова — о том, как быть феминисткой в профессии, где оценивают внешность

Forbes
Роман Должанский: По России с любовью. Сад камней. Нерехта Роман Должанский: По России с любовью. Сад камней. Нерехта

Очерк Романа Должанского о старинном городе Нерехта

СНОБ
Открыть в приложении