Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Древние белки указали на принадлежность «человека-дракона» к денисовцам Древние белки указали на принадлежность «человека-дракона» к денисовцам

Как палеопротеомный анализ дополнил генетические данные древних денисовцев

N+1
Как поддерживать сотрудников, когда на улицах бьют и «винтят» людей Как поддерживать сотрудников, когда на улицах бьют и «винтят» людей

Что нужно делать, чтобы вывести свою команду на новый уровень сплоченности

Inc.
Трансмонный кубит достиг миллисекундной когерентности Трансмонный кубит достиг миллисекундной когерентности

Физики изготовили трансмонные кубиты из напыленной пленки ниобия

N+1
Актер + актриса: почему распадаются красивые звездные пары Актер + актриса: почему распадаются красивые звездные пары

Психологи: знаменитостям не чужды кризисы, через которые проходят пары

Cosmopolitan
«Эффект кислого винограда»: как неудачи и страх провала мешают нам исполнять мечты «Эффект кислого винограда»: как неудачи и страх провала мешают нам исполнять мечты

Почему мы бессознательно обесцениваем то, что раньше вдохновляло?

Forbes
10 антиромантических фильмов к 14 февраля 10 антиромантических фильмов к 14 февраля

Список серьезных фильмов о любви из разных жанров и эпох

Cosmopolitan
Принцип 80/20 Принцип 80/20

Как достичь большего с наименьшими усилиями

kiozk originals
«Нищебродов прошу не писать»: могут ли деньги сделать вас настоящим мужчиной «Нищебродов прошу не писать»: могут ли деньги сделать вас настоящим мужчиной

Григорий Туманов — о том, как связаны маскулинность и деньги

Forbes
Почему мужчинам феминизм нужен даже больше, чем женщинам Почему мужчинам феминизм нужен даже больше, чем женщинам

Что такое «вагинокапитализм» и кто виноват в том, что мужчины не плачут

GQ
7 очень странных исторических фактов о сексе 7 очень странных исторических фактов о сексе

Блесни эрудицией во время секса!

Maxim
Кровавое воскресенье — 2021 Кровавое воскресенье — 2021

Есть ли шанс вернуть его былую лояльность?

СНОБ
Неаполь, похороны: отрывок из дебютного романа Элены Ферранте, впервые на русском языке Неаполь, похороны: отрывок из дебютного романа Элены Ферранте, впервые на русском языке

Фрагмент из романа «Любовь в тягость» Элены Ферранте

Forbes
Открыта ранее неизвестная форма льда Открыта ранее неизвестная форма льда

Гигапаскали давления и чудовищный холод — вот что нужно для нового льда

Популярная механика
20 лучших комедий всех времен и народов по версии кинокритиков 20 лучших комедий всех времен и народов по версии кинокритиков

Список величайших кинокомедий в истории. Угадай, что на первом месте!

Maxim
Не отдам! Не отдам!

Марта Кетро – о том, чем оборачивается собственничество по отношению к мужчине

Cosmopolitan
6 самых жутких врачей в истории 6 самых жутких врачей в истории

После этой статьи ты начнешь обходить районную поликлинику стороной!

Maxim
Отсечь и отпустить Отсечь и отпустить

Принципы жизни Бурятии

Вокруг света
Новые Sonata, Haval, Granta, Sentra: на что жалуются владельцы на форумах Новые Sonata, Haval, Granta, Sentra: на что жалуются владельцы на форумах

Проблемы на свежих моделях авторынка и как их решают производители

РБК
Скорсезе раскритиковал стриминги и призвал вернуть ценность киноискусства Скорсезе раскритиковал стриминги и призвал вернуть ценность киноискусства

Мартин Скорсезе обратился к киноиндустрии с требованием сохранить искусство кино

РБК
Стиль Дины Саевой: как одевалась блогерша-миллионерша из Таджикистана до славы Стиль Дины Саевой: как одевалась блогерша-миллионерша из Таджикистана до славы

Как одевалась блогер Дина Саева раньше и как одевается сейчас

Cosmopolitan
Почему твой бывший совершенно точно «не торт» с точки зрения астрологии Почему твой бывший совершенно точно «не торт» с точки зрения астрологии

Заканчивать отношения всегда непросто, но это не значит, что ты должна страдать

Cosmopolitan
Новый контракт: как снизить уровень бедности в России Новый контракт: как снизить уровень бедности в России

В России социальные выплаты не всегда доходят до тех, кто в них нуждается

Forbes
Как сделать волосы густыми и мягкими: 7 советов для идеальной прически Как сделать волосы густыми и мягкими: 7 советов для идеальной прически

Шикарные волосы — это необязательно заслуга природы

Cosmopolitan
Ботокс: что нужно знать, прежде чем принимать решение Ботокс: что нужно знать, прежде чем принимать решение

Что лучше знать до инъекций ботокса и как он влияет на красоту и здоровье

РБК
Мария Аронова. Бабье счастье Мария Аронова. Бабье счастье

Актриса Мария Аронова о семье, слабостях и страхе одиночества

Караван историй
Я мечтаю о дочке Я мечтаю о дочке

Певица Зара – о детстве, сыновьях и преимуществах зрелых родителей

Домашний Очаг
«Делаю древнюю мудрость актуальной»: бывший монах из списка Forbes советует, как прокачать свою жизнь «Делаю древнюю мудрость актуальной»: бывший монах из списка Forbes советует, как прокачать свою жизнь

Качества, которые открывают двери к любым целям

Forbes
Славный счет потерь Славный счет потерь

От чего избавились животные в ходе эволюции

Вокруг света
Сомнения батьки: ждет ли белорусов настоящий транзит власти Сомнения батьки: ждет ли белорусов настоящий транзит власти

Когда уйдет Александр Лукашенко

Forbes
«Если я не смогу победить, то хотя бы буду смелым»: как устроена спортивная благотворительность в России «Если я не смогу победить, то хотя бы буду смелым»: как устроена спортивная благотворительность в России

Кто развивает спортивно-социальные благотворительные проекты в России

Forbes
Открыть в приложении