Технологии Deepfake проникли в музыкальную индустрию: как это повлияет на музыку

TJHi-Tech

Игра в имитацию: как Deepfake используют для «воскрешения» умерших музыкантов и доводят подражание до абсолюта

Теперь даже Фрэнка Синатру можно «заставить» петь о чём угодно.

Дамир Камалетдинов

1280
Изображение OpenAI

Принято считать, что дипфейки популярны в видеоформате — например, в порно или для имитации роликов со знаменитостями и политиками. Однако The Guardian вспомнил о существовании Jukebox — одного из «Deepfake для музыки» от OpenAI, который позволяет исполнить композицию в стиле известных музыкантов, в том числе ушедших из жизни. TJ публикует пересказ материала и рассказывает подробности о работе алгоритмов.

Как это работает

«It’s Christmas time! It’s hot tub time!», — слышится в композиции «Classic Pop, in the style of Frank Sinatra» голос Фрэнка Синатры, но поёт не он. Песню можно было бы принять за потерянную демо-запись известного певца — его голос кажется устрашающе знакомым, даже когда качество оставляет желать лучшего.

Но композиция — не подлинный трек Синатры, а очень точная имитация, созданная компанией OpenAI, работающей над развитием искусственного интеллекта. Её инструмент Jukebox использует машинное обучение для создания музыки с вокалом в разных жанрах и стилях музыкантов. Помимо Синатры, можно выбрать многих других, например, Кэти Пэрри, Элвиса Пресли, Simon & Garfunkel, 2Pac или Селин Дион.

1280
Исполнители, на которых научили алгоритмы. Скриншот с сайта OpenAI

OpenAI использовала 1,2 миллиона песен из интернета вместе с текстами и метеданными, чтобы обучить Jukebox. На выходе получилась система, которая может выдавать исходное аудио на несколько минут длиной на основе того, какие вводные данные она получит. Например, если «скормить» ей Queen или Моцарта, родится приблизительно такая же музыка, хотя и не её прямая копия.

Во время работы над Jukebox исследователям пришлось столкнуться с проблемами, часть которых были препятствиями для автоматизации музыки многие годы. Главной проблемой стал объём данных.

Как рассказывали исследователи в блоге OpenAI, люди научились автоматически генерировать музыку больше полувека назад с появлением первых пианороллов — рулонов с отверстиями, которые позволяли автоматизировать игру на пианино. Однако у них было много ограничений: например, они не могли передавать голос человека и многие тонкие тембры, динамику и экспрессивность как при игре человеком.

1280
Пианоролл в «Мире Дикого Запада». Кадр HBO

Сейчас технологии позволяют использовать другой подход к генерации музыки — моделировать «чистое» аудио. Но в стандартной четырёхминутной песне в CD-качестве (44 кГц, 16 бит) около 10 миллионов временных отметок, и она сложна для моделей с точки зрения семантики — им придётся работать с очень далекоидущими зависимостями.

Один из способов решения проблемы — использовать автокодировщик, который сожмёт «чистое» аудио и снизит объём данных, отбросив «несущественные» для восприятия биты информации. Модель можно научить работать только с этим сжатым пространством и затем увеличивать детализацию исходного звука.

Именно по такому пути пошли в OpenAI — в Jukebox использовали модель автокодировщика, которая сжимает аудио с помощью подхода VQ-VAE, построенного на основе квантования. Система разбивает диапазон значений на ограниченное число уровней и округляет значения до ближайших к ним уровней.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Когда грибы были большими Когда грибы были большими

В начале палеозойской эры на суше доминировали гигантские грибы

Популярная механика
«Не плачь!»: как не надо реагировать на чувства детей «Не плачь!»: как не надо реагировать на чувства детей

Как часто мы говорим детям: «Не плачь!», «Не ной», «Ты что, плакса?»

Psychologies
Тимоти Шаламе. Не просто красивый мальчик Тимоти Шаламе. Не просто красивый мальчик

В свои 25 он самый востребованный и одновременно самый загадочный актер

Караван историй
Как Елена Крыгина уехала из Сургута учиться PR и построила бьюти-империю. Главное из подкаста Forbes «Кассовый разрыв» Как Елена Крыгина уехала из Сургута учиться PR и построила бьюти-империю. Главное из подкаста Forbes «Кассовый разрыв»

Елены Крыгина о том, как превратила детское увлечение в бизнес

Forbes
Юрий Тарасов. Бабочки на снегу Юрий Тарасов. Бабочки на снегу

Актер Юрий Тарасов: «Честно говоря, устал от ограниченности выбора»

Караван историй
Живой угорь свисает из желудка летящей цапли: невероятное фото Живой угорь свисает из желудка летящей цапли: невероятное фото

Американскому фотографу удалось сделать фантастический снимок

National Geographic
Как брали Крым Как брали Крым

Леонид Млечин — о завершающем этапе Гражданской войны на юге России

Огонёк
Как Coca-Cola, Netflix и другие гиганты занимаются благотворительностью: главные тренды КСО в мире и России Как Coca-Cola, Netflix и другие гиганты занимаются благотворительностью: главные тренды КСО в мире и России

Самые популярные форматы взаимодействия бизнеса и НКО на Западе и в России

Forbes
Палеонтологи разобрались в родственных связях древних и современных медоедов Палеонтологи разобрались в родственных связях древних и современных медоедов

Древний медоед был мельче современного и приходился ему сестринским видом

N+1
История одного необычного мальчика История одного необычного мальчика

Даже если ребенку поставил диагноз психиатр, это не окончательный приговор

СНОБ
Как снизить вредное воздействие алкоголя на организм Как снизить вредное воздействие алкоголя на организм

Перестаньте выпивать за несколько часов до сна

GQ
Не в коня Холмс Не в коня Холмс

«Шерлок в России» — дедукция здесь бессильна

Огонёк
«В нашей жизни всё спонтанно» «В нашей жизни всё спонтанно»

Блогеры Ольга и Максим Нечаевы: о воспитании дочери и курсе «Голые деньги»

OK!
Остров, туфельки и Tesla: на что Леонардо ДиКаприо тратит свои бешеные гонорары Остров, туфельки и Tesla: на что Леонардо ДиКаприо тратит свои бешеные гонорары

Как Леонардо ДиКаприо распоряжается своими деньгами?

Cosmopolitan
На 3D-принтере удалось напечатать реалистичную модель сердца: видео На 3D-принтере удалось напечатать реалистичную модель сердца: видео

Недорогой и удобный прототип человеческого органа для практики будущих врачей

National Geographic
В центре города В центре города

Городская квартира в стиле спокойной, мягкой неоклассики

SALON-Interior
Как взбодриться утром без кофе Как взбодриться утром без кофе

Что такое инерция сна и как ее победить

Reminder
Сказки на ночь: 19 книг, которые помогут ребенку уснуть Сказки на ночь: 19 книг, которые помогут ребенку уснуть

Любимые книги, которые стоит читать перед сном

Seasons of life
Станки и люди Станки и люди

Машина на службе у человека или человек в плену у машины? О чем говорит история

РБК
Звезда футбольного рок-н-ролла. Почему мы так любили Диего Марадону Звезда футбольного рок-н-ролла. Почему мы так любили Диего Марадону

Диего Марадона — чемпион мира, один из лучших футболистов в истории и бунтарь

Esquire
Музыкант 2020 года: Моргенштерн Музыкант 2020 года: Моргенштерн

Моргенштерн — автор самых популярных и самых неразборчивых треков в 2020 году

GQ
Прокачай себя! Тренировка c REBOOT LIVE #11. Кардиопрограмма Fullbody Прокачай себя! Тренировка c REBOOT LIVE #11. Кардиопрограмма Fullbody

Одиннадцатая тренировка из цикла Rebbot: кардиопрограмма

Maxim
Трендовые бьюти-образы: 16 идей стильного макияжа для карих глаз Трендовые бьюти-образы: 16 идей стильного макияжа для карих глаз

Конец осени и начало зимы — это не повод отказываться от мейкап-экспериментов

Cosmopolitan
Смена власти в гареме заставила самок гелад созреть быстрее Смена власти в гареме заставила самок гелад созреть быстрее

Влияют ли самцы на скорость созревание самок в дикой среде?

N+1
Честер Беннингтон, Курт Кобейн и другие — как погибли звезды-самоубийцы Честер Беннингтон, Курт Кобейн и другие — как погибли звезды-самоубийцы

Истории звезд, чья жизнь рано и трагически оборвалась

Cosmopolitan
Афалины могут контролировать частоту сокращений своего сердца Афалины могут контролировать частоту сокращений своего сердца

Ученые считают, что таким образом они избегают декомпрессионной болезни

National Geographic
«Не стоит разменивать науку на деньги» «Не стоит разменивать науку на деньги»

Виктор Садовничий — о полномасштабной реформе МГУ

Огонёк
Сын уборщицы и работника завода: как воспитывали родители Лионеля Месси Сын уборщицы и работника завода: как воспитывали родители Лионеля Месси

Лионель Месси родился в семье, где все были немного увлечены футболом

Cosmopolitan
Что запрещали носить людям в разные времена Что запрещали носить людям в разные времена

Какая одежда была запрещена в разные исторические периоды: обзор запретов

GQ
Маршал Воробьёв, инженер Победы Маршал Воробьёв, инженер Победы

Маршал Михаил Петрович Воробьёв сделал очень многое для обороны Москвы

Дилетант
Открыть в приложении