Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Секвенирование ДНК из воздуха сообщило о составе биомов и человеческих популяций Секвенирование ДНК из воздуха сообщило о составе биомов и человеческих популяций

Секвенирование ДНК как способ быстрого и неинвазивного анализа биомов

N+1
Управляя гневом Управляя гневом

Чему Кэри Маллиган научилась у своей новой героини?

OK!
Шимпанзе заразились зевотой от головы андроида Шимпанзе заразились зевотой от головы андроида

Шимпанзе способны заразиться зевотой от зевающей головы человекоподобного робота

N+1
Каскадная катастрофа Каскадная катастрофа

В чем причина экологической катастрофы на Камчатке

Наука
Вся правда о холестерине Вся правда о холестерине

Что на самом деле вызывает заболевания сердца и сосудов

kiozk originals
4 самых распространенных пикантных сна и их значение 4 самых распространенных пикантных сна и их значение

Нормально ли видеть эротические сны?

Playboy
«Экономист под прикрытием. Почему возникают пробки, кофе стоит дорого и невозможно найти хорошую подержанную машину» «Экономист под прикрытием. Почему возникают пробки, кофе стоит дорого и невозможно найти хорошую подержанную машину»

Как водители влияют на окружающих?

N+1
«Невероятно настоящий». Коллеги Кирилла Серебренникова — о работе с ним «Невероятно настоящий». Коллеги Кирилла Серебренникова — о работе с ним

Коллеги и ученики Кирилла Серебренникова о том, чему они научились у него

РБК
Противомикробный белок защитил цитрусовые от бактериальной инфекции Противомикробный белок защитил цитрусовые от бактериальной инфекции

Белок, который может защитить цитрусовые деревья от инфекционного заболевания

N+1
Почти как BMW Х5, только дешевле: Nissan представил новый внедорожник Почти как BMW Х5, только дешевле: Nissan представил новый внедорожник

Такого крутого «Пасфайндера» еще не было!

Maxim
Открыта странная, ранее неизвестная форма магнетизма у двухмерных материалов Открыта странная, ранее неизвестная форма магнетизма у двухмерных материалов

Немного о двумерном мире наноразмерных материалов, таких как графен

Популярная механика
11 королевских привычек, которые могут вам пригодиться 11 королевских привычек, которые могут вам пригодиться

Что полезного можно почерпнуть из королевского образа жизни в наше время.

GQ
Лора Дерн. Дикая сердцем Лора Дерн. Дикая сердцем

Как нестандартная внешность и возраст помогли актрисе Лоре Дерн

Караван историй
«День сурка»: плюсы и минусы рутины «День сурка»: плюсы и минусы рутины

Почему рутинная жизнь может выматывать, а может умиротворять

Psychologies
Любовь в зрелом возрасте: где и как ее искать? Любовь в зрелом возрасте: где и как ее искать?

Как еще раз построить отношения в зрелом возрасте

Домашний Очаг
Слава угасла? Где сейчас YouTube-блогеры, которые были популярны 10 лет назад Слава угасла? Где сейчас YouTube-блогеры, которые были популярны 10 лет назад

Рассказываем, чем сейчас занимаются Ивангай, Рома Желудь и другие ютуберы

Cosmopolitan
Стать лучше! Стать лучше!

15 практик для построения продуктивных отношений на работе

kiozk originals
Скорсезе раскритиковал стриминги и призвал вернуть ценность киноискусства Скорсезе раскритиковал стриминги и призвал вернуть ценность киноискусства

Мартин Скорсезе обратился к киноиндустрии с требованием сохранить искусство кино

РБК
Компьютерная томография подтвердила драматическую гибель египетского царя Компьютерная томография подтвердила драматическую гибель египетского царя

Фараон Секененра Таа II попал в руки многочисленных врагов и был жестоко убит

N+1
Антидепрессант остановил разрушение хрящей при остеоартрите Антидепрессант остановил разрушение хрящей при остеоартрите

Пароксетин может стать препаратом для лечения остеоартрита

N+1
Искатель жизни: чем уникальна новая марсианская миссия Искатель жизни: чем уникальна новая марсианская миссия

Амбициозные задачи марсохода Perseverance и вертолета Ingenuity

Forbes
«Между нами все было хорошо, почему же он ушел?» «Между нами все было хорошо, почему же он ушел?»

За таким решением, как уход из семьи, всегда скрывается замалчиваемый кризис

Psychologies
Сколько стоят за границей те же машины, что у нас. Сравнительная таблица Сколько стоят за границей те же машины, что у нас. Сравнительная таблица

Сравниваем российские ценники с европейскими, украинскими и азиатскими

РБК
Сменяемость власти: почему Кирилл Серебренников покидает «Гоголь-центр» Сменяемость власти: почему Кирилл Серебренников покидает «Гоголь-центр»

8,5 лет работы Кирилла Серебренникова в Гоголь-центре — фрагмент бесконечности

Forbes
Кто такой статский советник? Кто такой статский советник?

Статский советник — это один из гражданских чинов в дореволюционной России

Культура.РФ
Змея, которую пригрела Диана: как выглядела та, которая увела мужа у леди Ди Змея, которую пригрела Диана: как выглядела та, которая увела мужа у леди Ди

Сравниваем стиль Камиллы Паркер-Боулз и принцессы Дианы

Cosmopolitan
Иконоартист Иконоартист

Анна Толстова о том, как Билл Виола перестал быть современным

Weekend
Роман Балаян: «Не знаю, мое ли это призвание — режиссура, но мне она стала судьбой» Роман Балаян: «Не знаю, мое ли это призвание — режиссура, но мне она стала судьбой»

Режиссер Роман Балаян о съемках Алексея Германа и работе с Олегом Янковским

Караван историй
Операция «медиация»: как сохранить лицо во время конфликта без суда и следствия Операция «медиация»: как сохранить лицо во время конфликта без суда и следствия

Адвокат — о том, как решить конфликтные вопросы без суда

Forbes
13 фактов о коррупции 13 фактов о коррупции

Что такое коррупция и что мы о ней знаем?

Maxim
Открыть в приложении