Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Пчелы против бегемотов: как убить фараона Пчелы против бегемотов: как убить фараона

История о гибели фараона от укуса пчелы

N+1
Я перестала делать из хорошего мужа «идеального отца» Я перестала делать из хорошего мужа «идеального отца»

Почему не нужно решать за мужа, каким он должен быть отцом

Psychologies
Кризисная эпоха в Древнем Египте привела к изменению источников металла Кризисная эпоха в Древнем Египте привела к изменению источников металла

Погребальные предметы указали на изменение торговых отношений в Древнем Египте

N+1
Второе пришествие суборбитальной баллистики Второе пришествие суборбитальной баллистики

Какие полеты изменят этот век?

Наука
Искусство успокаивать детей Искусство успокаивать детей

Опытный педиатр отвечает на вопрос, почему дети плачут

kiozk originals
Веероносцы и шмелевидки из Евразии помогут новозеландцам в борьбе с инвазивными осами Веероносцы и шмелевидки из Евразии помогут новозеландцам в борьбе с инвазивными осами

Новая Зеландия разрешила ввезти в страну два вида насекомых из Евразии

N+1
Иностранцы о русских. Часть 2: Отношения русского народа и власти Иностранцы о русских. Часть 2: Отношения русского народа и власти

Высказывания иностранцев об отношениях русского народа и власти

Maxim
Почему в корпорации исчезает атмосфера стартапа: опыт главы Waze, который боролся за свободу внутри Google и сдался Почему в корпорации исчезает атмосфера стартапа: опыт главы Waze, который боролся за свободу внутри Google и сдался

Ноам Бардин — что произошло с его независимым стартапом после продажи ИТ-гиганту

VC.RU
Комсомольский комсомолец Комсомольский комсомолец

Уголок желтой прессы

Maxim
МКС скоро оборудуют новым суперкомпьютером МКС скоро оборудуют новым суперкомпьютером

Суперкомпьютер SBC-2 будет отправлен на МКС

Популярная механика
Форменное благочестие Форменное благочестие

Простое печенье маамуль издавна объединяет неспокойный мир Ближнего Востока

Вокруг света
Выход из тупика: почему Голливуд все время снимает новые франшизы по старым блокбастерам Выход из тупика: почему Голливуд все время снимает новые франшизы по старым блокбастерам

Продолжения и ремейки успешных картин становятся основной стратегией киностудий

Forbes
Путь к новой себе Путь к новой себе

«Меняю жизнь!» Сколько раз вы себе это говорили? Может, пора действовать?

Добрые советы
Кругом обман: йогурт не так полезен, как кажется Кругом обман: йогурт не так полезен, как кажется

Рассказываем, стоит ли верить в мифы о пользе йогуртов

Cosmopolitan
Можно ли обмануть Face ID с помощью фотографии? Можно ли обмануть Face ID с помощью фотографии?

Безопасно ли использовать камеру и собственное лицо для разблокировки смартфона

CHIP
Миллиардер Рубен Варданян инвестировал в сервис знакомств на основе ИИ iris Dating Миллиардер Рубен Варданян инвестировал в сервис знакомств на основе ИИ iris Dating

Бизнесмен Рубен Варданян стал акционером сервиса для знакомств iris Dating

Forbes
Неизвестные X и Y Неизвестные X и Y

Как и, главное, зачем природа разделила обитателей земли на юношей и девушек

Вокруг света
Откровения TikTok Откровения TikTok

Репортаж из дома для тиктокеров Grand House

Эксперт
Как понять, что девушка обойдется тебе дорого: 10 признаков Как понять, что девушка обойдется тебе дорого: 10 признаков

Есть девушки, на которых уходит целое состояние и последние нервные клетки

Maxim
Как сохранить крестец здоровым: упражнения для людей любого возраста Как сохранить крестец здоровым: упражнения для людей любого возраста

Как сохранить здоровье крестца и всего организма?

Psychologies
Готов ли ты стать отцом? Готов ли ты стать отцом?

Правила обращения с беременной женщиной

Maxim
Белковая диета: принципы, меню, научные факты Белковая диета: принципы, меню, научные факты

Как работает белковая диета

РБК
Японская кухня Японская кухня

Три блюда, которые обязательно стоит попробовать в Стране восходящего солнца

National Geographic Traveler
Термоядерный реактор: начало сборки Термоядерный реактор: начало сборки

Как российские ученые приняли участи в разработке реактора ИТЭР

Наука
Линейные уравнения Линейные уравнения

Илья и Светлана Хомяковы сделали квартиру сложной формы удобным пространством

AD
Модная база: выбрали актуальные черные кофты для твоих стильных образов Модная база: выбрали актуальные черные кофты для твоих стильных образов

Черная кофта – универсальная базовая вещь

Cosmopolitan
«Меня все видят — это важно!» «Меня все видят — это важно!»

Кирилл Кяро — о комфорте, габаритах и экстремальных ситуациях на дорогах

OK!
Сцепились языками Сцепились языками

Александр Добровинский объясняет, как в юности накопил большой словарный запас

Tatler
От Аньелли до Феррари: самые возрастные топ-менеджеры в истории автопрома От Аньелли до Феррари: самые возрастные топ-менеджеры в истории автопрома

Некоторые возглавляют свои компании до самой смерти

РБК
Новый Дикий Запад: как пользователи Clubhouse научились зарабатывать в соцсети Новый Дикий Запад: как пользователи Clubhouse научились зарабатывать в соцсети

Как в Clubhouse зарождается рекламный рынок и сколько зарабатывают прямо сейчас

Forbes
Открыть в приложении