Технологии Deepfake проникли в музыкальную индустрию: как это повлияет на музыку

TJHi-Tech

Игра в имитацию: как Deepfake используют для «воскрешения» умерших музыкантов и доводят подражание до абсолюта

Теперь даже Фрэнка Синатру можно «заставить» петь о чём угодно.

Дамир Камалетдинов

1280
Изображение OpenAI

Принято считать, что дипфейки популярны в видеоформате — например, в порно или для имитации роликов со знаменитостями и политиками. Однако The Guardian вспомнил о существовании Jukebox — одного из «Deepfake для музыки» от OpenAI, который позволяет исполнить композицию в стиле известных музыкантов, в том числе ушедших из жизни. TJ публикует пересказ материала и рассказывает подробности о работе алгоритмов.

Как это работает

«It’s Christmas time! It’s hot tub time!», — слышится в композиции «Classic Pop, in the style of Frank Sinatra» голос Фрэнка Синатры, но поёт не он. Песню можно было бы принять за потерянную демо-запись известного певца — его голос кажется устрашающе знакомым, даже когда качество оставляет желать лучшего.

Но композиция — не подлинный трек Синатры, а очень точная имитация, созданная компанией OpenAI, работающей над развитием искусственного интеллекта. Её инструмент Jukebox использует машинное обучение для создания музыки с вокалом в разных жанрах и стилях музыкантов. Помимо Синатры, можно выбрать многих других, например, Кэти Пэрри, Элвиса Пресли, Simon & Garfunkel, 2Pac или Селин Дион.

1280
Исполнители, на которых научили алгоритмы. Скриншот с сайта OpenAI

OpenAI использовала 1,2 миллиона песен из интернета вместе с текстами и метеданными, чтобы обучить Jukebox. На выходе получилась система, которая может выдавать исходное аудио на несколько минут длиной на основе того, какие вводные данные она получит. Например, если «скормить» ей Queen или Моцарта, родится приблизительно такая же музыка, хотя и не её прямая копия.

Во время работы над Jukebox исследователям пришлось столкнуться с проблемами, часть которых были препятствиями для автоматизации музыки многие годы. Главной проблемой стал объём данных.

Как рассказывали исследователи в блоге OpenAI, люди научились автоматически генерировать музыку больше полувека назад с появлением первых пианороллов — рулонов с отверстиями, которые позволяли автоматизировать игру на пианино. Однако у них было много ограничений: например, они не могли передавать голос человека и многие тонкие тембры, динамику и экспрессивность как при игре человеком.

1280
Пианоролл в «Мире Дикого Запада». Кадр HBO

Сейчас технологии позволяют использовать другой подход к генерации музыки — моделировать «чистое» аудио. Но в стандартной четырёхминутной песне в CD-качестве (44 кГц, 16 бит) около 10 миллионов временных отметок, и она сложна для моделей с точки зрения семантики — им придётся работать с очень далекоидущими зависимостями.

Один из способов решения проблемы — использовать автокодировщик, который сожмёт «чистое» аудио и снизит объём данных, отбросив «несущественные» для восприятия биты информации. Модель можно научить работать только с этим сжатым пространством и затем увеличивать детализацию исходного звука.

Именно по такому пути пошли в OpenAI — в Jukebox использовали модель автокодировщика, которая сжимает аудио с помощью подхода VQ-VAE, построенного на основе квантования. Система разбивает диапазон значений на ограниченное число уровней и округляет значения до ближайших к ним уровней.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

8 неприятных побочных эффектов похудения (да, они есть) 8 неприятных побочных эффектов похудения (да, они есть)

К чему стоит быть готовым, садясь на диету

Playboy
Николь Кидман в полный рост: зачем смотреть сериал «Отыграть назад» Николь Кидман в полный рост: зачем смотреть сериал «Отыграть назад»

Сериал «Отыграть назад» затягивает так, что не оторваться

РБК
Все аппараты, коснувшиеся поверхности Марса Все аппараты, коснувшиеся поверхности Марса

Практика показывает, что до Марса проще долететь, чем сесть на него

Популярная механика
Как говорил Жванецкий. В память о сатирике — отрывок из книги «Разговор отца с сыном…» Как говорил Жванецкий. В память о сатирике — отрывок из книги «Разговор отца с сыном…»

Отрывок из книги главного сатирика страны Михаила Жванецкого

СНОБ
Пропавшая без вести: трагическая судьба легендарной детективщицы Агаты Кристи Пропавшая без вести: трагическая судьба легендарной детективщицы Агаты Кристи

Ты знала, что Агата Кристи недолюбливала Эркюля Пуаро?

Cosmopolitan
Правила жизни Натальи Бонк Правила жизни Натальи Бонк

Правила жизни лингвиста и педагога Натальи Бонк

Esquire
Естественные роды после кесарева невозможны и другие мифы о родах и беременности Естественные роды после кесарева невозможны и другие мифы о родах и беременности

Вокруг родов и беременности давно сложилась своя мифология

Cosmopolitan
Нейроны расширенной миндалины заставили мышей поволноваться Нейроны расширенной миндалины заставили мышей поволноваться

Связь нейронов расширенной миндалины и процесса эмоционального возбуждения

N+1
Отверженная и очень опасная: лучшие фильмы с Амандой Сейфрид Отверженная и очень опасная: лучшие фильмы с Амандой Сейфрид

Аманда Сейфрид за последние годы сделала стремительный профессиональный рывок

Cosmopolitan
Расстрел и Людмила Расстрел и Людмила

Неудачная попытка превратить советскую историю в античную трагедию

Weekend
Героини времени нашего Героини времени нашего

Истории выдающихся женщин, которые смело меняют и свою жизнь, и мир вокруг себя

Лиза
Правила жизни Роберто Кавалли Правила жизни Роберто Кавалли

Правила жизни основателя бренда Roberto Cavalli

Esquire
Скука как путь к новым идеям Скука как путь к новым идеям

Скука ассоциируется у нас с чем-то неприятным, негативным, а зря

Psychologies
В Китае цветок обзавелся камуфляжем, чтобы прятаться от людей В Китае цветок обзавелся камуфляжем, чтобы прятаться от людей

Цветок рябчик Делавэя выработал эволюционный ответ на его эксплуатацию людьми

National Geographic
Gartner назвала 10 способов быстро сократить расходы на ИТ в кризис Gartner назвала 10 способов быстро сократить расходы на ИТ в кризис

Как управлять затратами на ИТ в кризис

Inc.
Их объединила трагедия: трогательная история любви Павла Воли и Ляйсан Утяшевой Их объединила трагедия: трогательная история любви Павла Воли и Ляйсан Утяшевой

Вспоминаем, как развивались отношения Павла Воли и Ляйсан Утяшевой

Cosmopolitan
Трансформация мышления. Как увеличить вовлечённость сотрудников компании с помощью нового корпоративного портала Трансформация мышления. Как увеличить вовлечённость сотрудников компании с помощью нового корпоративного портала

Продакт-менеджером об особенностях работы в сжатые сроки и важности геймификации

Inc.
10 президентских фактов о Джо Байдене 10 президентских фактов о Джо Байдене

Кто такой Джо Байден и чем знаменит?

Maxim
В Австралии открыли два новых вида летучих кускусов В Австралии открыли два новых вида летучих кускусов

Знакомьтесь с очаровательными летающими сумчатыми

National Geographic
Изнасилования и незащищённость: что происходит на пальмовых плантациях, связанных с крупными косметическими брендами Изнасилования и незащищённость: что происходит на пальмовых плантациях, связанных с крупными косметическими брендами

Женщины и подростки подвергаются регулярному насилию на пальмовых плантациях

TJ
Перевал Дятлова против сошедшей с ума Николь Кидман Перевал Дятлова против сошедшей с ума Николь Кидман

Битва сериалов: «Перевал Дятлова» против «Отыграть назад»

СНОБ
Главные ошибки, которые совершают компании, перешедшие на удаленку Главные ошибки, которые совершают компании, перешедшие на удаленку

Далеко не все компании смогли грамотно перевести работников в удаленный формат

Playboy
Зачем ученые постоянно изучают озеро Восток Зачем ученые постоянно изучают озеро Восток

Ключ к жизни и смерти на земле лежит в антарктическом озеро Восток

GQ
«Искусство не терпит трафаретов» «Искусство не терпит трафаретов»

История жизни Ильи Репина в его картинах

Культура.РФ
Почему они не уходят: есть ли вина женщины в том, что она живет с абьюзером? Почему они не уходят: есть ли вина женщины в том, что она живет с абьюзером?

Почему женщины остаются с абьюзерами даже тогда, когда им есть куда уйти

Cosmopolitan
«Мой целлюлит на бедрах стал виден»: Елена Перминова раскрыла модельные трюки «Мой целлюлит на бедрах стал виден»: Елена Перминова раскрыла модельные трюки

Елена Перминова заявила, что не стесняется своей внешности

Cosmopolitan
Я/мы. Что нас объединяет? Я/мы. Что нас объединяет?

Психолог Тахир Базаров размышляет о том, как изменилась социальная дистанция

Psychologies
Справедливость для IT-миллиардера: что ждет Кремниевую долину после победы Байдена Справедливость для IT-миллиардера: что ждет Кремниевую долину после победы Байдена

Джо Байден планирует повысить налоги для обеспеченных американцев

Forbes
Последний месяц мы постоянно слышим о Моргенштерне. В чем его феномен Последний месяц мы постоянно слышим о Моргенштерне. В чем его феномен

Углубились в биографию Моргенштерна и разобрались, на чем держится его успех

РБК
Модная и безликая: 7 признаков, что у тебя нет своего стиля Модная и безликая: 7 признаков, что у тебя нет своего стиля

Мы собрали 7 явных признаков отсутствия своего стиля — проверь себя!

Cosmopolitan
Открыть в приложении