Игра в имитацию: как Deepfake используют для «воскрешения» умерших музыкантов и доводят подражание до абсолюта
Теперь даже Фрэнка Синатру можно «заставить» петь о чём угодно.
Принято считать, что дипфейки популярны в видеоформате — например, в порно или для имитации роликов со знаменитостями и политиками. Однако The Guardian вспомнил о существовании Jukebox — одного из «Deepfake для музыки» от OpenAI, который позволяет исполнить композицию в стиле известных музыкантов, в том числе ушедших из жизни. TJ публикует пересказ материала и рассказывает подробности о работе алгоритмов.
Как это работает
«It’s Christmas time! It’s hot tub time!», — слышится в композиции «Classic Pop, in the style of Frank Sinatra» голос Фрэнка Синатры, но поёт не он. Песню можно было бы принять за потерянную демо-запись известного певца — его голос кажется устрашающе знакомым, даже когда качество оставляет желать лучшего.
Но композиция — не подлинный трек Синатры, а очень точная имитация, созданная компанией OpenAI, работающей над развитием искусственного интеллекта. Её инструмент Jukebox использует машинное обучение для создания музыки с вокалом в разных жанрах и стилях музыкантов. Помимо Синатры, можно выбрать многих других, например, Кэти Пэрри, Элвиса Пресли, Simon & Garfunkel, 2Pac или Селин Дион.
OpenAI использовала 1,2 миллиона песен из интернета вместе с текстами и метеданными, чтобы обучить Jukebox. На выходе получилась система, которая может выдавать исходное аудио на несколько минут длиной на основе того, какие вводные данные она получит. Например, если «скормить» ей Queen или Моцарта, родится приблизительно такая же музыка, хотя и не её прямая копия.
Во время работы над Jukebox исследователям пришлось столкнуться с проблемами, часть которых были препятствиями для автоматизации музыки многие годы. Главной проблемой стал объём данных.
Как рассказывали исследователи в блоге OpenAI, люди научились автоматически генерировать музыку больше полувека назад с появлением первых пианороллов — рулонов с отверстиями, которые позволяли автоматизировать игру на пианино. Однако у них было много ограничений: например, они не могли передавать голос человека и многие тонкие тембры, динамику и экспрессивность как при игре человеком.
Сейчас технологии позволяют использовать другой подход к генерации музыки — моделировать «чистое» аудио. Но в стандартной четырёхминутной песне в CD-качестве (44 кГц, 16 бит) около 10 миллионов временных отметок, и она сложна для моделей с точки зрения семантики — им придётся работать с очень далекоидущими зависимостями.
Один из способов решения проблемы — использовать автокодировщик, который сожмёт «чистое» аудио и снизит объём данных, отбросив «несущественные» для восприятия биты информации. Модель можно научить работать только с этим сжатым пространством и затем увеличивать детализацию исходного звука.
Именно по такому пути пошли в OpenAI — в Jukebox использовали модель автокодировщика, которая сжимает аудио с помощью подхода VQ-VAE, построенного на основе квантования. Система разбивает диапазон значений на ограниченное число уровней и округляет значения до ближайших к ним уровней.